6
官方技术指导
置顶
社区问题提交模板
2024-09-23 15:53:03
810

1、标题

标题需要写明遇到的问题和使用的模型及框架,例如“使用vllm在qwen2-7B的fp16推理遇到了乱码”。

2、内容
操作系统版本:例如ubuntu20.04
DTK版本:例如DTK24.04.1
驱动版本:例如rock-5.7.1-6.2.18 或者提供如下指令结果rpm -qa | grep rock
DCU类型:例如K100_AI 或者提供成功安装DTK后(source /opt/dtk/env.sh) rocminfo指令的结果
异常描述:(执行xx程序,发生x异常)
详细问题描述:截图+文字描述,异常日志(如果程序运行涉及一些脚本或模型,请把文件或链接附在问题中)

全部评论(4)
只看楼主
胡
胡sir
2楼
联想sr658hv2,两张海光k100-ai,底层uos系统,安装了kvm上面装了两套uos虚拟机,目前两张显卡分别直通给虚拟机,在显存或者核心跑满一分钟左右就掉卡,现在拆掉了一张显卡测试还是掉卡,服务器bmc日志收集给联想没有查到硬件故障。vbios6.310,驱动6.3.30,DTK26.04。 求各位大佬们指点迷津,急!
10/1
网
网友Lpmi61
1楼

操作系统 ubuntu22.04.03

DTK版本:24.04

k100ai 8卡64g显存

使用ollama部署时只能单卡跑 最后使用vllm部署deepseek-r1:70b后可以8卡一起跑

现希望使用dify的框架,无法导入vllm的模型。
2025/2/23
F
Flydf
回复 @网友Lpmi61
厉害
2025/5/12
F
Flydf
回复 @网友Lpmi61
嗯嗯
2025/5/12
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据