框架组件
提问帖
有回复
新人贴
vllm0.11.0推理Qwen3-Next-80B-A3B-Instruct出现精度问题
2025-12-29 14:43:56
585
机器:BW1000 使用镜像:0.11.0-ubuntu22.04-dtk25.04.2-1226-das1.7-py3.10-20251226 启动命令: export VLLM_USE_NN=0 export TRITON\_MOVE\_LOAD\_TOFRONT\_DOT=0 vllm serve /home/ccw/models/Qwen3-Next-80B-A3B-Instruct/ --dtype float16 --port 8001 --served-model-name Qwen3-Next-80B-A3B-Instruct --trust-remote-code -tp 8 --max-model-len 262144 --enable-prefix-caching --block-size 64 --trust-remote-code --gpu-memory-utilization 0.95 --disable-log-stats --compilation-config '{"full\_cuda\_graph": true}' 出现回答精度问题: 输入:长沙美食推荐 ![attachmentId-ScreenShot_2025-12-29_144244_838.png](/api-forum/file/Redirect?path=forum/ac7kvltauc/1766990633812/ScreenShot_2025-12-29_144244_838.png)
全部评论(7)
只看楼主
T
TTTzc
3楼
你好,请问一下你的容器启动命令是什么?我在BW1000上用同样的镜像启动qwen3-embedding,结果报错了,报错内容如图
1/16
狂
狂风暴雨
回复 @TTTzc
你这个错误看着像rccl没找到网卡出口。单独配置指定一下吧。export GLOO_SOCKET_IFNAME=docker0。这个模型启动的参考如下:vllm serve /data/model/Qwen3-Embedding-8B/ --served-model-name Qwen3-Embedding-8B --trust-remote-code --dtype float16 -tp 1  --gpu-memory-utilization 0.5
1/23
Y
yangzhong
2楼
这个问题不太好排查,正在排查分析中,解决后会第一时间更新回复
1/5
狂
狂风暴雨
回复 @yangzhong
请问这个问题排查的怎么样呢
1/13
Y
yangzhong
回复 @狂风暴雨
还在排查解决中,解决完会第一时间回复
1/13
狂
狂风暴雨
楼主
1楼
attachmentId-image.png
2025/12/29
小
小严
回复 @狂风暴雨
大佬,我部署的也出现这个问题了,有没有解决方法?
3/16
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据