服务器配置
显卡:k100AI
镜像:image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.4-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250430-dev-qwen3-only
问题:指定容器调用主机序号2,3,4,5的卡,vllm四卡跑Qwen3-32B,但实际锁定未生效,还是从默认0,1,2,3四卡启动
创建容器命名:
docker run -it
--shm-size=500G
--privileged
--device=/dev/kfd
--device=/dev/dri/
--group-add video
--cap-add=SYS_PTRACE
--security-opt seccomp=unconfined
--ulimit memlock=-1:-1
-v /opt/hyhal:/opt/hyhal:ro
-v /data/deepseekModel:/root/vllm1
-v /zzf/data:/root/vllm2
--name vllm084-2345
-p 8015:8000
-e AMDGPU_TARGETS=gfx928
-e HSA_OVERRIDE_GFX_VERSION=9.2.8
-e HIP_VISIBLE_DEVICES=2,3,4,5
image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.4-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250430-dev-qwen3-only
/bin/bash
vllm运行命令:
vllm serve /root/vllm1/Qwen3-32B --served-model-name Qwen3-32B -tp 4 --api-key=sk-jXmPTDcCr6Gzs --trust-remote-code --host 0.0.0.0 --gpu-memory-utilization 0.95


暂无数据
可以尝试一下,配置ROCR_VISIBLE_DEVICES,
配置时使用GPU-ID的方式,替换现有的 数字序号