1
框架组件
提问帖
有回复
新人贴
RuntimeError: No matching libraries found for flash_attn_2_cuda*.so
2026-01-23 13:53:38
182
在使用transformers推理时相同时用Torch Scale-Product-Attention和Flash Attention 2加速 模型加载代码为: model = AutoModelForCTC.from_pretrained( model_name_or_path, dtype=torch.float16, low_cpu_mem_usage=True ).to("cuda").eval() 在推理时报错: File "/usr/local/python310/lib/python3.10/site-packages/transformers/integrations/sdpa_attention.py", line 96, in sdpa_attention_forward attn_output = torch.nn.functional.scaled_dot_product_attention( RuntimeError: No matching libraries found for flash_attn_2_cuda*.so 依赖情况: 显卡为k100_ai dtk25041 torch 2.4.1+das.opt1.dtk25041 transformers 4.57.5 flash_attn 2.6.1+das.opt1.dtk25042 triton 3.0.0+das.opt1.dtk25041 同时: 我find了下flash_attn_2_cuda*.so,发现/usr/local/python310/lib/python3.10/site-packages/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so 请问下这个问题怎么解决呢,是某个版本依赖不对,还是海光尚未支持,还是其它什么原因呢
全部评论(4)
只看楼主
C
chenxi
1楼
麻烦安装对应DTK版本fa包https://download.sourcefind.cn:65024/4/main/flash_attn/DAS1.6,再看看是否还会报错
1/26
_
_mhtwqorft50y
回复 @chenxi
你好,感谢回复。我换成flash_attn 2.6.1+das.opt1.dtk25041后,还是同样的报错呢
1/26
C
chenxi
回复 @_mhtwqorft50y
有尝试过直接使用光源配套镜像吗?docker pull harbor.sourcefind.cn:5443/dcu/admin/base/pytorch:2.4.1-ubuntu22.04-dtk25.04.1-py3.10
1/26
H
hwz
回复 @_mhtwqorft50y
我也遇到同样的问题,先uninstall torch, 再重新安装torch-2.5.1+das.opt1.dtk25041-cp310-cp310-manylinux_2_28_x86_64.whl就解决了。
1/27
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据