6
DeepSeek
K100-AI使用xinference部署大模型的时候,调用不了DCU
2025-03-19 10:13:37
366

求教大佬,通过docker启动xinference部署deepseek-70b时,在xinference界面找不到DCU,实际进行模型交互时完全靠CPU在运行模型,DCU运行是0%,应该怎么配置?
docker启动命令如下:
docker run -d
--name xinference
--device=/dev/kfd --device=/dev/dri
--group-add video
-v /data/xinference/data/.xinference:/root/.xinference
-v /data/xinference/data/.cache/huggingface:/root/.cache/huggingface
-v /data/xinference/data/.cache/modelscope:/root/.cache/modelscope
-v /data/xinference/log:/workspace/xinference/logs
-p 3000:9997
image.sourcefind.cn:5000/dcu/admin/base/jupyterlab-xinference:0.16.0-ubuntu20.04-dtk24.04.1-py3.10
xinference-local -H 0.0.0.0 --log-level debug

xinference注册模型时如下图:

attachmentId-image.png

运行模型交互时查询DCU情况如下:

attachmentId-image.png

全部评论(6)
只看楼主
Y
YDMY
3楼
大佬,你的XInference什么版本啊
7/21
测
测试123
2楼
大佬,你解决了吗?物理机部署和容器部署xinference,在xinference界面找不到DCU。
2025/10/13
R
renzhc
回复 @测试123
有更详细的问题描述吗? 例如容器内hy-smi显式是否正常,torch.cuda.is_available()是否正常,以及xinference使用的是什么后端,启动命令是什么?
2025/10/13
测
测试123
回复 @renzhc
解决了,谢谢关注问题
2025/10/13
T
tianlh
1楼

加参数--gpus all 试下

2025/3/19
R
renzhc
回复 @tianlh

应该不是这个问题,试试进到容器内执行python -c "import torch; print(torch.cuda.is_available())"看看输出是不是True。

不是的话,容器创建时添加-v /opt/hyhal:/opt/hyhal:ro
2025/3/19
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据