1
Qwen
提问帖
有回复
新人贴
k100-ai运行Qwen3-30B-A3B推理速度很慢
2026-01-14 15:43:03
409

我使用4块海光k100-ai 部署Qwen3-30B-A3B模型,速度只能达到20 tokens/s,为什么这么慢,我的启动参数如下:

docker run -d

--name qwen3_30b_a3b_vllm

--privileged

--shm-size=256G

--device=/dev/kfd

--device=/dev/dri/

--cap-add=SYS_PTRACE

--security-opt seccomp=unconfined

--ulimit memlock=-1:-1

--ipc=host

--network host

--group-add video

-v /opt/hyhal:/opt/hyhal

-v /opt/models/:/models:ro

--env HIP_VISIBLE_DEVICES=0,1,2,3

--restart=unless-stopped

harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk25.04.2-1226-das1.7-py3.10-20251226

/bin/bash -c "source /opt/dtk/env.sh && python -m vllm.entrypoints.openai.api_server

--model /models/Qwen3-30B-A3B-Instruct-2507/

--dtype bfloat16

--served-model-name Qwen3-30B-A3B

--trust-remote-code

--gpu-memory-utilization 0.9

--max-model-len 200000

--tensor-parallel-size 4

--enable-prefix-caching

--max-num-batched-tokens 131072

--max-num-seqs 32

--cpu-offload-gb 0

--port 8000"


全部评论(5)
只看楼主
Y
yangzhong
1楼
在k100-ai 上保持和您一样的启动命令实测了一下,性能和您的基本一致,这个速度在k100-ai 上是正常的。启动命令中参数--max-model-len 200000可以不用加,最大是40960;--max-num-batched-tokens 131072保持默认就好,想改的话改成10240;--cpu-offload-gb 0也不用加。您可以用下面的启动命令试一下,亲测有1tokens/s左右的提升。
python -m vllm.entrypoints.openai.api_server --model /qwen3/Qwen3-30B-A3B-Instruct-2507 --dtype float16 --served-model-name Qwen3-30B-A3B --trust-remote-code --gpu-memory-utilization 0.9 --tensor-parallel-size 4 --enable-prefix-caching --max-num-seqs 32
1/15
今
今明两天有雨
回复 @yangzhong
应该是跟vllm:0.11.0的镜像有关,我换成vllm:0.9.2的镜像,推理速度能达到60tokens/s
1/20
网
网友lQKnJd
回复 @今明两天有雨
为什么我换成0.9.2还是只有20tokens/s呢,请问你的0.9.2版本启动参数是什么样的
1/27
Hikafeng
回复 @今明两天有雨
为什么我换成0.9.2还是只有20tokens/s呢,请问你的0.9.2版本启动参数是什么样的
1/28
全部4条回复
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据