1、标题
标题需要写明遇到的问题和使用的模型及框架,例如“使用vllm在qwen2-7B的fp16推理遇到了乱码”。
2、内容
操作系统版本:例如ubuntu20.04
DTK版本:例如DTK24.04.1
驱动版本:例如rock-5.7.1-6.2.18 或者提供如下指令结果rpm -qa | grep rock
DCU类型:例如K100_AI 或者提供成功安装DTK后(source /opt/dtk/env.sh) rocminfo指令的结果
异常描述:(执行xx程序,发生x异常)
详细问题描述:截图+文字描述,异常日志(如果程序运行涉及一些脚本或模型,请把文件或链接附在问题中)

暂无数据
操作系统 ubuntu22.04.03
DTK版本:24.04
k100ai 8卡64g显存
使用ollama部署时只能单卡跑 最后使用vllm部署deepseek-r1:70b后可以8卡一起跑
现希望使用dify的框架,无法导入vllm的模型。