求教大佬,通过docker启动xinference部署deepseek-70b时,在xinference界面找不到DCU,实际进行模型交互时完全靠CPU在运行模型,DCU运行是0%,应该怎么配置?
docker启动命令如下:
docker run -d
--name xinference
--device=/dev/kfd --device=/dev/dri
--group-add video
-v /data/xinference/data/.xinference:/root/.xinference
-v /data/xinference/data/.cache/huggingface:/root/.cache/huggingface
-v /data/xinference/data/.cache/modelscope:/root/.cache/modelscope
-v /data/xinference/log:/workspace/xinference/logs
-p 3000:9997
image.sourcefind.cn:5000/dcu/admin/base/jupyterlab-xinference:0.16.0-ubuntu20.04-dtk24.04.1-py3.10
xinference-local -H 0.0.0.0 --log-level debug
xinference注册模型时如下图:

运行模型交互时查询DCU情况如下:


暂无数据
加参数--gpus all 试下