光合开发者社区-论坛

性能优化

新人贴

K100-AI 64g 8卡部署 qwen3.6-27b 实践 bf16推理速度非常慢

2026-08-10 18:14:54

302

## 镜像 harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm023-ubuntu22.04-dtk26.04-py3.10-20260617-qwen ## 模型 https://modelscope.cn/models/Qwen/Qwen3.6-27B ## 8卡部署参数 ```shell vllm serve ./Qwen3.6-27B \ --served-model-name Qwen3.6-27B \ --data-parallel-size 2 \ --tensor-parallel-size 4 \ --seed 1024 \ --max-num-seqs 64 \ --max-model-len 262144 \ --max-num-batched-tokens 262144 \ --trust-remote-code \ --gpu-memory-utilization 0.9 \ --no-enable-prefix-caching \ --dtype bfloat16 \ --port 8101 \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder \ --reasoning-parser qwen3 ``` 部署精度 bf16 tokens生成速度10tokens/s # 2卡部署 ```shell vllm serve ./Qwen3.6-27B \ --served-model-name Qwen3.6-27B \ --data-parallel-size 1 \ --tensor-parallel-size 2 \ --seed 1024 \ --max-num-seqs 16 \ --max-model-len 262144 \ --max-num-batched-tokens 262144 \ --trust-remote-code \ --gpu-memory-utilization 0.9 \ --no-enable-prefix-caching \ --dtype bfloat16 \ --port 8101 \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder \ --reasoning-parser qwen3 ``` 求8卡长上下文高并发需求参数

我最近四卡跑Qwen3.5-27B，16,384 tokens 输入、128 tokens 输出、单并发条件下，TTFT 为 5.834 秒，生成阶段速度为 49.631 tokens/s，单请求端到端速度为 15.251 tokens/s

镜像:docker pull 42.228.13.241:5000/jenkins/model_test_env/vllm:0.18.1-ubuntu22.04-dtk2604-py3.10-20260810-0040
服务启动命令：

export VLLM_HCU_USE_CUSTOM_FLASH_ATTN=1

export VLLM_HCU_USE_CUSTOM_QUANTIZATION_GEMM=0

export VLLM_HCU_USE_CUSTOM_OPS=0

exec vllm serve /workspace/Qwen3.5-27B \

--tensor-parallel-size 4 \

--trust-remote-code \

--max-num-batched-tokens 131072 \

--speculative-config.method mtp \

--speculative-config.num_speculative_tokens 3
可以参考一下