1
2
6
DeepSeek
K100AI Qwen3-32B 4卡锁定失败
2025-06-19 16:58:16
210

服务器配置
显卡:k100AI
镜像:image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.4-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250430-dev-qwen3-only

问题:指定容器调用主机序号2,3,4,5的卡,vllm四卡跑Qwen3-32B,但实际锁定未生效,还是从默认0,1,2,3四卡启动

创建容器命名:

docker run -it
--shm-size=500G
--privileged
--device=/dev/kfd
--device=/dev/dri/
--group-add video
--cap-add=SYS_PTRACE
--security-opt seccomp=unconfined
--ulimit memlock=-1:-1
-v /opt/hyhal:/opt/hyhal:ro
-v /data/deepseekModel:/root/vllm1
-v /zzf/data:/root/vllm2
--name vllm084-2345
-p 8015:8000
-e AMDGPU_TARGETS=gfx928
-e HSA_OVERRIDE_GFX_VERSION=9.2.8
-e HIP_VISIBLE_DEVICES=2,3,4,5
image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.4-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250430-dev-qwen3-only
/bin/bash

vllm运行命令:
vllm serve /root/vllm1/Qwen3-32B --served-model-name Qwen3-32B -tp 4 --api-key=sk-jXmPTDcCr6Gzs --trust-remote-code --host 0.0.0.0 --gpu-memory-utilization 0.95

attachmentId-image.png

全部评论(6)
只看楼主
P
panhb
2楼
在启动容器时,删除--privileged(会挂载所有卡),把--device=/dev/dri/ 改为 --device=/dev/dri/card0 --device=/dev/dri/renderD128 (容器只挂载0号卡示例,可查看/dev/dri下进行调整该命令)
2025/6/20
网
网友P2hf1T
回复 @panhb
感谢,用这个方式解决了
2025/6/20
网
网友TxGDSQ
回复 @panhb
骗人家docker只有1张卡是吧
2025/6/20
网
网友Takpq8
回复 @panhb
楼主 请教一下,您是如何解决锁定4、5、6、7这四张卡的
2025/6/29
网
网友TxGDSQ
1楼

可以尝试一下,配置ROCR_VISIBLE_DEVICES,

配置时使用GPU-ID的方式,替换现有的 数字序号
2025/6/19
网
网友P2hf1T
回复 @网友TxGDSQ
试了用uuid,但是启动失败了
2025/6/20
没有更多内容了
--
楼主
Level.4
0 帖子
楼主热帖
暂无数据