2
模型应用
分享一下K100_AI 成功部署 Qwen235B awq int4 的启动指令
2025-09-12 07:52:57
511
使用了6块DCU,如果有8块就修改一下tp=8 ```bash docker run -itd \ --device=/dev/kfd \ --privileged \ --device=/dev/dri \ --cap-add=SYS_PTRACE \ --security-opt seccomp=unconfined \ --restart always \ --name qwen \ --network host \ --ipc host \ -v /opt/hyhal:/opt/hyhal:ro \ -v /srv/disk2/workspace:/workspace \ -e HIP_VISIBLE_DEVICES=1,2,3,4,5,6 \ -e VLLM_USE_V1=0 \ -e VLLM_WORKER_MULTIPROC_METHOD=spawn \ -e VLLM_MARLIN_USE_ATOMIC_ADD=1 \ image.sourcefind.cn:5000/dcu/admin/base/vllm:0.8.5-ubuntu22.04-dtk25.04.1-py3.10 \ vllm serve Qwen3-235B-A22B-Thinking-2507-AWQ \ --tensor-parallel-size 2 \ --pipeline-parallel-size 3 \ --chat-template tool_chat_qwen_nothiking.jinja \ -q moe_wna16 \ --served-model-name Qwen3-235B-A22B-Thinking-2507-AWQ \ --max-seq-len-to-capture 10000 \ --max_model_len 10240 ``` 日志出现了warning, 有没有专家老师帮我解决一下 ```bash (VllmWorkerProcess pid=248) WARNING:lmslim.layers.fused_moe.fuse_moe_int4:Using default MoE config. Performance might be sub-optimal! Config file not found at /usr/local/lib/python3.10/dist-packages/lmslim/layers/fused_moe/configs/E=128,N=384,device_name=K100_AI,dtype=int4_w4a16.json ``` 如果大家有更好的建议,欢迎大家提出来。比如6块DCU怎么设定TP/PP会比较好。 这是截屏,10240还是不太够用,可以自己根据需求设大一点。 ![1757634610559.png](/api-forum/file/Redirect?path=forum/suertang/1757634610605/1757634610559.png '1757634610559.png') 模型下载地址 https://www.modelscope.cn/models/swift/Qwen3-235B-A22B-Instruct-2507-AWQ
全部评论(2)
只看楼主
M
Mamba
2楼
我用相同方法部署,4卡 8卡都试了,输出速度都在6token左右,请问有遇到类似问题吗?
1/27
张
张
1楼
牛,刚好我跑Qwen3-30B-A3B-AWQ有问题,感谢楼主
2025/9/12
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据