1
DeepSeek
新人贴
K100 AI 部署Qwen3-32B 首词输出慢
2026-04-27 15:30:09
215
使用镜像:harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm018-ubuntu22.04-dtk26.04-gemma4-0413 启动参数: ```Shell export HIP_LAUNCH_BLOCKING=0 && export HIP_DEVICE_MAX_HW_QUEUES=8 && export HSA_FORCE_FINE_GRAIN_PCIE=1 && export GLOO_SOCKET_IFNAME=lo && export NCCL_SOCKET_IFNAME=lo && export NCCL_ALGO=Ring && export NCCL_PROTO=Simple && export PYTORCH_HIP_ALLOC_CONF=expandable_segments:True vllm serve /workspace/Qwen3-32B --port 11435 --trust-remote-code --max-model-len 32768 -tp 8 --gpu-memory-utilization 0.5 --max-num-seqs 16 --disable-custom-all-reduce --enable-reasoning --reasoning-parser deepseek_r1 --tool-call-parser hermes --enable-auto-tool-choice --use-v2-block-manager > vllm_runtime.log 2>&1 & ``` 手动测试结果: ![attachmentId-image.png](/api-forum/file/RedirectImage?path=20260427/1777275085502_image.png) 首词输出70s,这个问题怎么修复呀?
K100
全部评论(4)
只看楼主
_
_moatmfv24yhw
2楼
麻烦问一下,K100 AI 部署Qwen3-32B 首词输出慢,解决了没?如何解决
5/28
顺
顺顺
回复 @_moatmfv24yhw
没有
6/4
M
minfy
1楼
您好,请从社区镜像里拉取vllm0.9.2验证一下
4/28
顺
顺顺
回复 @minfy
好的 我试一下:baoquan:emoji
4/28
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据