Qwen
qwen3-32b在k100_ai上的推理速度
2025-10-10 10:36:16
428
目前使用的镜像是image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.1-rc5-rocblas104381-0915-das1.6-py3.10-20250916-rc2,启动命令为: ```SQL vllm serve /data/qwen3-32b --served-model-name qwen3-32b --max-model-len 32768 -tp 2 --gpu-memory-utilization 0.9 --dtype=float16 ``` 使用两张k100_ai卡部署,请求后,vllm日志显示15.7tokens/s,请问这个正常吗,还是有能优化的空间呢 ![attachmentId-image.png](/api-forum/file/Redirect?path=forum/whaha/1760063682894/image.png)
全部评论(9)
只看楼主
Q
QAZ
2楼
你好,请问性能测试指令可有分享下吗

1/22
Y
yangzhong
1楼
亲测15.8 tokens/s,您的测试是正常的
2025/10/10
网
网友vQLBnh
回复 @yangzhong
好的,谢谢
2025/10/10
Q
QAZ
回复 @yangzhong
你好,我用0.11.0的vllm镜像,加2张K100_AI部署Qwen3-32B,日常对话时,服务端显示10 token/s,请问有什么优化的方式吗?还是说需要更换vllm镜像看看呢?
1/22
Y
yangzhong
回复 @QAZ
可以换成vllm0.9.2镜像试试,0.11.0不是正式发版,只是为了满足部分用户的需求出的非稳定版本,性能可能没有达到最好。
1/23
全部7条回复
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据