我用的4卡跑 qwen3-30b-a2b-2507，单并发大约55tokens/s，但是上下文很长的情况下速度下降很显著（我作死拿了claude code来连它，100多k的输入就只有不到20tokens/s了），多并发可以压到总计1500tokens/s左右
1
1
1
0
使用2张K100_AI部署Qwen3-32B模型，单并发及多并发的情况下，性能大概能达到多少token/s？有没有相关的测试报告分享下，非常感谢！
2026-01-26 10:56:41
172
使用2张K100_AI部署Qwen3-32B模型，单并发及多并发的情况下，性能大概能达到多少token/s？有没有相关的测试报告分享下，非常感谢！
全部评论（2）
只看楼主
C
1/27
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据