1
DTK开发
解决Z100L&K100上使用TGI进行推理出错的问题
2024-06-25 16:18:13
117

解决方案:

使用镜像:docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-centos7.6-dtk24.04-py310
flash attention whl包,支持用户在Z100L&K100上使用,可直接通过本帖下方链接下载。下载后可解压到任意目录,先pip uninstall flash_attn,再通过pip install flash_attn-2.0.4_torch2.1_dtk24.04-cp310-cp310-linux_x86_64.whl安装即可。

 

全部评论(0)
只看楼主
暂无数据
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据