您好，下文为vllm部署qwen3系列模型的案例：

step1：拉取镜像 https://sourcefind.cn/#/image/dcu/vllm?activeName=overview（拉取最新版本镜像即可）

step2：基于上述镜像构建容器

step3：设置环境变量

export ALLREDUCE_STREAM_WITH_COMPUTE=1

export NCCL_MIN_NCHANNELS=16

export NCCL_MAX_NCHANNELS=16

export VLLM_PCIE_USE_CUSTOM_ALLREDUCE=1

针对hycpu环境建议设置绑核操作（VLLM_RANK x_NUMA 变量值需要根据hy-smi --showtopo 自行设置）：

export VLLM_NUMA_BIND=1

export VLLM_RANK0_NUMA=0

export VLLM_RANK1_NUMA=1

export VLLM_RANK2_NUMA=2

export VLLM_RANK3_NUMA=3

export VLLM_RANK4_NUMA=4

export VLLM_RANK5_NUMA=5

export VLLM_RANK6_NUMA=6

export VLLM_RANK7_NUMA=7

step4：vllm启动模型服务

235b模型：

vllm serve <model-path>/Qwen3-235B-A22B --trust-remote-code --dtype float16 -tp 8 --max-model-len 32768 --gpu-memory-utilization 0.95

其它模型：

vllm serve <model-path>/Qwen3-32B --trust-remote-code --dtype float16 -tp 4

vllm serve <model-path>/Qwen3-30B-A3B --trust-remote-code --dtype float16 -tp 4

vllm serve <model-path>/Qwen3-14B --trust-remote-code --dtype float16 -tp 2

vllm serve <model-path>/Qwen3-8B --trust-remote-code --dtype float16 -tp 1

vllm serve <model-path>/Qwen3-235B-A22B-W8A8 --trust-remote-code --dtype float16 -tp 8