您好,目前在测试验证BW100这张卡的模型推理性能时,有个并行推理的问题咨询下
推理环境:
1、容器:harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.15.1-ubuntu22.04-dtk26.04-py3.10
2、模型:qwen2-7b
3、显卡:BW100
4、分别测试单卡、2卡、4卡的推理性能测试
问题:
1、模型推理时出现多卡并行推理的效率低于单卡的效率,但是之前同样的测试在k100-ai上的表现时多卡并行推理的效率要更好,这个是什么原因
