容器镜像：harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm023-ubuntu22.04-dtk26.04-py3.10-20260629-gemma4

模型地址：https://modelscope.cn/models/Qwen/Qwen3.8-27B

启动参数

export VLLM_HCU_USE_CUSTOM_QUANTIZATION_GEMM=0
export VLLM_HCU_USE_CUSTOM_OPS=0


vllm serve Qwen3.8-27B
--port 8001
--tensor-parallel-size 2
--dtype bfloat16
--trust-remote-code
--gpu-memory-utilization 0.8
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
--language-model-only
--max-num-batched-tokens 10240
--max-num-seqs 24
--speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":3}'
--reasoning-parser qwen3

结论：这个是自己基于官方镜像尝试的部署，且部署成功。但推理速度较慢（12TPS）。待官方优化参数