光合开发者社区-论坛

运行时

提问帖

有回复

新人贴

qwen3-vl-30B 推理速度只有6token/s ，如何优化？

2026-07-28 16:19:56

141

镜像：harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-kylin10sp3-dtk26.04-py3.10 模型：Qwen3-VL-30B-A3B-Instruct-W8A8-INT8 K100_AI 64G , 单卡部署

lironggui

2楼

你好，我在K100_AI进行了测试，可参考我的配置进行复测：

模型：https://modelscope.cn/models/T-HEAD/Qwen3-VL-30B-A3B-Instruct-W8A8-INT8/files

镜像：docker pull harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.18.1-ubuntu22.04-dtk26.04-py3.10

启动命令：

export VLLM_HCU_USE_CUSTOM_QUANTIZATION_GEMM=0

export VLLM_HCU_USE_CUSTOM_OPS=0

export VLLM_USE_MODELSCOPE=1

vllm serve /module/Qwen3-VL-30B-A3B-Instruct-W8A8-INT8 \

--port 8001 \

-tp 1 \

--max-model-len 165000 \

--trust-remote-code

测试性能：

8/3

coolscript

回复 @lironggui

专业

8/4

lironggui

1楼

输入输出长度、并发数多少呢？启动命令发一下吧
使用random数据集测试的吗？

7/28

coolscript

回复 @lironggui

vllm serve /var/lib/gpustack/cache/Qwen3-VL-30B-A3B-Instruct-W8A8-INT8 --enable-prompt-tokens-details --max-model-len=165000 --host 0.0.0.0 --port 40061 --served-model-name qwen3-vl-30b-a3b-instruct-w8a8-int8

有推荐的部署方案吗？

7/28

coolscript

回复 @lironggui

没有用专门的数据集测试，人工问答了几轮

7/28

lironggui

回复 @coolscript

export VLLM_HCU_USE_CUSTOM_QUANTIZATION_GEMM=0

export VLLM_HCU_USE_CUSTOM_OPS=0

export VLLM_USE_MODELSCOPE=1

vllm serve Qwen/Qwen3-VL-30B-A3B-Instruct \

-tp 2 \

--trust-remote-code

建议使用两张卡

7/28

全部7条回复