环境K100AI,基于镜像image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-tx-1210-das1.7-py3.10-20251216
部署Qwen2.5-14B-Instruct、Qwen3-14B启动容器一直卡在某步骤,加载模型前面
部署命令如下:
docker run -itd \\ --network=host \\ --name=llm \\ --ipc=host \\ --shm-size=64G \\ --device=/dev/kfd \\ --device=/dev/mkfd \\ --device=/dev/dri \\ -v /opt/hyhal:/opt/hyhal \\ -v /data/models:/models \\ --group-add video \\ --cap-add=SYS\_PTRACE \\ --security-opt seccomp=unconfined \\ -e HIP\_VISIBLE\_DEVICES=1 \\ image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-tx-1210-das1.7-py3.10-20251216 \\ /bin/bash -c "python -m vllm.entrypoints.openai.api\_server --model /models/Qwen/Qwen2.5-14B-Instruct --served-model-name deepseek --dtype auto --trust-remote-code --gpu-memory-utilization 0.6 --max-num-seqs 16 --max-model-len 10000 --port 6000 --host 0.0.0.0"