启动命令(基于docker)
vllm serve /model
--host 0.0.0.0
--port 30003
--tensor-parallel-size 8
--served-model-name Qwen/Qwen3-32B
--gpu-memory-utilization 0.85
--max-model-len 40960
--max-num-seqs 32
--max-num-batched-tokens 16384
--block-size 32
--trust-remote-code
请求相关信息
特点:输入的prompt比较大

token 输出

问题:如何能够让我当前请求响应速度提高?
目前看耗时应该主要在 Avg generation throuthput这块的token生成慢,所以是否有参数能够调整
========20260413补充说明==========
1、当前docker镜像:harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.8.5-ubuntu22.04-dtk25.04.1-py3.10
2、尝试开启enable-prefix-caching发现效果更不理想
========20260413补充说明==========