1
性能优化
提问帖
有回复
新人贴
k100用vllm部署qwen3速度太慢，有10token/s
2026-04-06 18:52:33
301
目前使用3张k100显卡用vllm部署qwen3-vl-32b，但是只有10token/s，想问下有没有加速的方法 系统是ubuntu24.04 驱动版本是 `dtk-25.04.2/rock-6.3.28-V1.3.0b` vllm版本是光合上的0.11.0-ubuntu22.04-dtk26.04-py3.10镜像 这是当时设置的环境：export CUDA_VISIBLE_DEVICES=0,1 export HIP_VISIBLE_DEVICES=0,1 export NCCL_P2P_DISABLE=1 export NCCL_IB_DISABLE=1
Z100L
全部评论（9）
只看楼主
秋
秋水芊芊
3楼
你好，麻烦问下你这个怎么解决了呀，最后用的哪个镜像，可以达到多少token/s
5/11
L
lim
2楼
请问是K100还是K100AI

4/7
G
gkubnm
回复 @lim
是k100
4/7
M
muyi_muyi
1楼
vllm启动参数是啥

4/6
G
gkubnm
回复 @muyi_muyi
python3 -m vllm.entrypoints.openai.api_server \
    --model /models/Qwen3-VL-32B-HF \
    --tensor-parallel-size 2 \
    --dtype bfloat16 \
    --host 0.0.0.0 \
    --port 8000 \
    --enforce-eager \
    --gpu-memory-utilization 0.85 \
    --max-model-len 4096 \
    --trust-remote-code
4/7
L
lim
回复 @gkubnm
去掉 --enforce-eager 试试
4/7
G
gkubnm
回复 @lim
变成1token/s了
4/7
全部5条回复
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据