3
DeepSeek
VLLM多卡多机部署推理速度慢
2025-08-20 11:54:28
391

在两台（每台有8张K100）采用25G网卡直连的机器上部署Qwen3-235B模型，测试推理速度较慢，维持在13tokens/s左右。想问一下有方法提升推理速度吗？

attachmentId-image.png

部署方式：

attachmentId-image.png

环境变量设置：

attachmentId-image.png

 

全部评论（5）
只看楼主
网
网友f2RTwE
1楼
您好，请问您用的是哪个版本的镜像呢？
2025/8/22
网
网友lw8uNw
回复 @网友f2RTwE
使用的镜像是：image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.4.1-ubuntu22.04-dtk25.04.1-py3.10
2025/8/28
网
网友f2RTwE
回复 @网友f2RTwE

这个镜像里有vllm吗？

2025/8/29
网
网友lw8uNw
回复 @网友f2RTwE
有的，vllm版本是0.8.5
2025/9/1
全部4条回复
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据