2
DTK开发
新人贴
vllm运行本地大模型报错
2025-11-11 21:09:02
121
在使用vllm运行本地下载的LLM(Qwen2.5:7B)时,出现这种报错,有知道怎么解决的吗? 镜像文件是image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-py3.10 报错信息: File "/usr/local/lib/python3.10/dist-packages/vllm/attention/backends/rocm_flash_attn.py", line 1088, in _sdpa_attention sub_out = torch.nn.functional.scaled_dot_product_attention( IndexError: max(): Expected reduction dim 2 to have non-zero size.
全部评论(1)
只看楼主
W
wangs
1楼
麻烦提供一下测试命令
2025/11/12
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据