环境信息:
- 硬件:海光 DCU K100 AI × 8
- GPUStack:v2.1.0
- vLLM:0.11.0(DCU 专用版)
- 模型:Qwen3-Next-80B-A3B-Instruct
问题描述:
模型已可正常加载(通过设置 VLLM_USE_NN=0 和
TRITON_MOVE_LOAD_TOFRONT_DOT=0 解决了之前的加载问题),
但推理时输出内容异常,出现无限重复的乱码,例如:
"Java"为"Java"为"Java"为"Java"... 不停循环,无法正常停止。
日志中每次推理都出现以下错误:
loc(".../vllm/attention/ops/triton_unified_attention.py":215:66):
error: operation scheduled before its operands
已尝试的环境变量(均无效):
- VLLM_USE_NN=0
- TRITON_MOVE_LOAD_TOFRONT_DOT=0
咨询问题:
1. triton_unified_attention.py:215 的调度错误是否为 DCU 上的已知问题?
2. 是否可以通过设置 VLLM_USE_TRITON_FLASH_ATTN=0 绕过该 Triton
attention kernel,改用其他后端?
3. 海光官方的 vLLM 镜像是否有针对此问题的修复版本?
(GPUStack issue 中提到了 developer.sourcefind.cn 上的官方镜像)
2)可以使用 VLLM_USE_TRITON_FLASH_ATTN=0参数
3)可以试一下高版本的镜像,该镜像目前在BW1000上测试是正常的