我使用4块海光k100-ai 部署Qwen3-30B-A3B模型,速度只能达到20 tokens/s,为什么这么慢,我的启动参数如下:
docker run -d
--name qwen3_30b_a3b_vllm
--privileged
--shm-size=256G
--device=/dev/kfd
--device=/dev/dri/
--cap-add=SYS_PTRACE
--security-opt seccomp=unconfined
--ulimit memlock=-1:-1
--ipc=host
--network host
--group-add video
-v /opt/hyhal:/opt/hyhal
-v /opt/models/:/models:ro
--env HIP_VISIBLE_DEVICES=0,1,2,3
--restart=unless-stopped
harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk25.04.2-1226-das1.7-py3.10-20251226
/bin/bash -c "source /opt/dtk/env.sh && python -m vllm.entrypoints.openai.api_server
--model /models/Qwen3-30B-A3B-Instruct-2507/
--dtype bfloat16
--served-model-name Qwen3-30B-A3B
--trust-remote-code
--gpu-memory-utilization 0.9
--max-model-len 200000
--tensor-parallel-size 4
--enable-prefix-caching
--max-num-batched-tokens 131072
--max-num-seqs 32
--cpu-offload-gb 0
--port 8000"

暂无数据
python -m vllm.entrypoints.openai.api_server --model /qwen3/Qwen3-30B-A3B-Instruct-2507 --dtype float16 --served-model-name Qwen3-30B-A3B --trust-remote-code --gpu-memory-utilization 0.9 --tensor-parallel-size 4 --enable-prefix-caching --max-num-seqs 32