4
数学库
提问帖
有回复
新人贴
BW100卡的并行推理效率
2026-07-22 09:53:54
209
您好,目前在测试验证BW100这张卡的模型推理性能时,有个并行推理的问题咨询下 推理环境: 1、容器:harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.15.1-ubuntu22.04-dtk26.04-py3.10 2、模型:qwen2-7b 3、显卡:BW100 4、分别测试单卡、2卡、4卡的推理性能测试 问题: 1、模型推理时出现多卡并行推理的效率低于单卡的效率,但是之前同样的测试在k100-ai上的表现时多卡并行推理的效率要更好,这个是什么原因 ![attachmentId-image.png](/api-forum/file/RedirectImage?path=20260722/1784685222409_image.png)
全部评论(3)
只看楼主
陕
陕西益东科技13193307412
2楼
哥们你问题解决了吗?我暂时解决了,可以加微信我给你解决办法 13193307412 
9/17
X
xxx
1楼
建议更换为qwen3系列模型
7/22
W
wqn
回复 @xxx
这个和模型有关系吗,之前我们在k100-ai上使用的就是千问2.5系列,这个在多卡并行推理的效果是要好于单卡的,现在bw100的卡上实际表现上看不如单卡,我想确认下这个测试你们之前有验证过吗
7/22
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据