2
1
AI人工智能
精华
解决Z100L&K100上使用vllm进行推理出错问题
2024-06-21 17:15:31
3285

解决方案:
使用镜像:docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu20.04-dtk24.04.1-py3.10
flash attention whl包,支持用户在Z100L&K100上使用,可直接通过本帖下方链接下载。下载后可解压到任意目录,先pip uninstall flash_attn,再通过pip install flash_attn-2.0.4_abi1_torch2.1_dtk24.04.1-cp310-cp310-linux_x86_64.whl安装即可。

全部评论(6)
只看楼主
Z
ZY
6楼
没有下载地址
2025/12/14
樱
樱桃大球球
5楼
dtk25.04有修复包吗?到底改了什么?
2025/5/12
网
网友jHVvHo
4楼
Qwen系列模型用过吗?我用qwen1.5和qwen2模型,推理时不会终止,而且还会乱码?请问遇到过吗?可以用邮箱沟通一下吗?我得邮箱时276851182@qq.com
2024/8/8
网
网友AQeLCZ
3楼
具体报什么错有吗
2024/8/2
网
网友6f7rQI
2楼
安装 DAS-1.1 下的 vllm
2024/7/12
X
xxxxxx
1楼

遇到如下报错:

修改如下,安装通过:

flash_attn-2.0.4_abi1_torch2.1_dtk24.04.1-cp310-cp310-linux_x86_64.whl

修改名字为

flash_attn-2.0.4+abi1_torch2.1_dtk24.04.1-cp310-cp310-linux_x86_64.whl
2024/6/21
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据