3
Qwen
2台8卡K100_AI运行qwen3-235b-a22b报错
2025-10-21 15:46:45
243
两台DCU通过200G网线直连，配置同网段ip。 启动命令： vllm serve /models/Qwen3-235B-A22-Instruct-2507 --served-model-name qwen3-235b --tensor-parallel-size 8 --pipeline-parallel-size 2 --distributed-executor-backend ray --trust-remote-code --gpu-memory-utilization 0.95 推理镜像: image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.4.1-ubuntu22.04-dtk25.04.1-py3.10 ![attachmentId-图片.png](/api-forum/file/Redirect?path=forum/skyshao/1761032548458/图片.png) 启动模型报错： ![attachmentId-图片.png](/api-forum/file/Redirect?path=forum/skyshao/1761032441952/图片.png)![attachmentId-图片.png](/api-forum/file/Redirect?path=forum/skyshao/1761032459068/图片.png)
全部评论（5）
只看楼主
S
shao
楼主
2楼
现场环境是2台8卡K100_LC_E_AI，不知道是不是和K100_AI有区别。最后试了Qwen3-235B-A22可以正常跑起来，Qwen3-235B-A22-Instruct-2507跑不起来。
2025/10/27
Z
zhufzh1
1楼
您好，建议先排查下2台机器间网络通信是否正常，如果正常可以添加--disable-custom-all-reduce 参数再试试
2025/10/21
S
shao
回复 @zhufzh1
加这个参数也不行。 两台之间是以太网络， 没有ib和roce。 启动日志包NCCL相关的
2025/10/21
S
shao
回复 @shao
2025/10/21
Z
zhufzh1
回复 @shao
感觉大概率还是网络通信的问题，可以关注测试下目前部署环境ray通信的连通性以及防火墙等。如果排除了通信问题，可以观察下serve起来之后两台机器上vllm相关的进程数是不是有16个都在运行，同时关注下DCU显存占用情况有没有OOM的；另外建议可以先2台机器分别单机8卡跑下vllm推理，排除下单台机器可能存在的问题
2025/10/21
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据