1
Qwen
新人贴
qwen14b-awq 使用K100AI 测试速度很慢
2026-04-18 14:52:35
143
qwen14b-awq 模型使用K100AI 64g部署。 测试速度很慢，平均只有16token/s。 使用镜像为：image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.1-rc5-rocblas104381-0915-das1.6-py3.10-20250916-rc2
triton-inference-ser
全部评论（2）
只看楼主
Y
yanzy
1楼
试试vllm011的镜像看有没有提升，harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk26.04-py3.11
4/24
_
_miwuc6uujx0y
回复 @yanzy
harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm018-ubuntu22.04-dtk26.04-gemma4-0413
最后使用这个镜像，qwen3-14b-awq测试可以到30token/s,qwen3-8b-awq测试可以到80token/s.
4/27
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据