1
框架组件
提问帖
有回复
新人贴
Qwen3-Next-80B vLLM 推理输出乱码 — triton_unified_attention 调度错误
2026-03-16 11:51:31
134
环境信息: - 硬件:海光 DCU K100 AI × 8 - GPUStack:v2.1.0 - vLLM:0.11.0(DCU 专用版) - 模型:Qwen3-Next-80B-A3B-Instruct 问题描述: 模型已可正常加载(通过设置 VLLM_USE_NN=0 和 TRITON_MOVE_LOAD_TOFRONT_DOT=0 解决了之前的加载问题), 但推理时输出内容异常,出现无限重复的乱码,例如: "Java"为"Java"为"Java"为"Java"... 不停循环,无法正常停止。 日志中每次推理都出现以下错误: loc(".../vllm/attention/ops/triton_unified_attention.py":215:66): error: operation scheduled before its operands 已尝试的环境变量(均无效): - VLLM_USE_NN=0 - TRITON_MOVE_LOAD_TOFRONT_DOT=0 咨询问题: 1. triton_unified_attention.py:215 的调度错误是否为 DCU 上的已知问题? 2. 是否可以通过设置 VLLM_USE_TRITON_FLASH_ATTN=0 绕过该 Triton attention kernel,改用其他后端? 3. 海光官方的 vLLM 镜像是否有针对此问题的修复版本? (GPUStack issue 中提到了 developer.sourcefind.cn 上的官方镜像)
全部评论(4)
只看楼主
L
liumg
3楼
1)  这个不了解,暂时没有收到类似的报错
2)可以使用 VLLM_USE_TRITON_FLASH_ATTN=0参数
3)可以试一下高版本的镜像,该镜像目前在BW1000上测试是正常的
3/16
S
suncd
2楼
VLLM_USE_V1=1,设置了吗
3/16
小
小严
回复 @suncd
解决了设置的这个环境变量VLLM_USE_TOPK_RENORM=0
3/16
小
小严
楼主
1楼

3/16
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据