麻烦贴一下input_size和output_size以及batch-size
0
8
0
1
deepseek-r1模型推理速度缓慢
2026-01-30 10:35:44
120
八张k100_AI,使用vllm部署的deepseek-r1:70B模型，吞吐量只能达到20tokens/s，正常吗？
镜像用的vllm 0.6.2的镜像
使用vllm 0.9.2的镜像，更是只有9.8tokens/s
全部评论（1）
只看楼主
W
2/1
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据