# 【分享】vLLM 0.20.2rc1 ：支持 Gemma 4 多词元预测（MTP）草稿模型 基于 vLLM PR #41745 编译，为 Gemma-4 系列模型添加了 MTP 草稿推理能力。 **K100_AI** 测试通过（`gemma-4-31B-it-assistant`），其他 DCU 型号未实测。  ## 下载地址 `http://60.190.128.9:18601/vllm-0.20.2rc1.dev51+gce026b01c.d20260516.rocm633-cp310-cp310-linux_x86_64.whl` ## Docker 镜像 `harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm018-ubuntu22.04-dtk26.04-gemma4-0413` ## 安装步骤 ```bash pip install vllm-0.20.2rc1.dev51+gce026b01c.d20260516.rocm633-cp310-cp310-linux_x86_64.whl pip install numpy==1.26.4 vllm serve /models/modelscope/gemma-4-31B-it \ --speculative-config '{"method":"mtp","model":"/models/gemma-4-31B-it-assistant","num_speculative_tokens":3}' \ --trust-remote-code \ --served-model-name Gemma4 \ --max-num-batched-tokens 32768 \ --gpu_memory_utilization 0.95 \ --tensor-parallel-size 4 \ --port 8001 \ --enable-auto-tool-choice \ --tool-call-parser gemma4 \ --reasoning-parser gemma4 ``` ##### PS：实测性能提升不大，不确定是不是 gfx928 拖了后腿。海光对 Dense 模型一直不太给力…… ，海光工程师们再加油优化啊 😅