1
Qwen
新人贴
部署qwen3一直卡在某步骤
2026-04-28 17:25:08
133
环境K100AI,基于镜像image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-tx-1210-das1.7-py3.10-20251216 部署Qwen2.5-14B-Instruct、Qwen3-14B启动容器一直卡在某步骤,加载模型前面 部署命令如下: docker run -itd \\ --network=host \\ --name=llm \\ --ipc=host \\ --shm-size=64G \\ --device=/dev/kfd \\ --device=/dev/mkfd \\ --device=/dev/dri \\ -v /opt/hyhal:/opt/hyhal \\ -v /data/models:/models \\ --group-add video \\ --cap-add=SYS\_PTRACE \\ --security-opt seccomp=unconfined \\ -e HIP\_VISIBLE\_DEVICES=1 \\ image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-tx-1210-das1.7-py3.10-20251216 \\ /bin/bash -c "python -m vllm.entrypoints.openai.api\_server --model /models/Qwen/Qwen2.5-14B-Instruct --served-model-name deepseek --dtype auto --trust-remote-code --gpu-memory-utilization 0.6 --max-num-seqs 16 --max-model-len 10000 --port 6000 --host 0.0.0.0"
全部评论(2)
只看楼主
_
_mkw8ggr59w1l
楼主
1楼
各位大佬有没有部署qwen3稳定的vllm镜像
4/28
Z
zhaomy3
回复 @_mkw8ggr59w1l
https://developer.sourcefind.cn/modelzoo/list/qwen3_vllm/detail?post_id=b936b3ee-bbbf-11f0-b077-0242ac150003 
你好,可以试下这个文档中的镜像
5/9
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据