8
AI人工智能
deepspeed 0.12.3与triton2.1.0推理报错
2024-04-08 16:27:47
158

软件版本是:deepspeed0.12.3+diffusers0.22.3+triton2.1.0

首先,我用deepspeed0.12.3+diffusers0.22.3+triton2.1.0在4090上能够成功推理
但在超算上,我用的是社区下载的deepspeed和triton包,却报了triton错误。
我不太清楚是deepspeed还是triton打包时候不兼容,这两个包其一肯定是有问题的。

attachmentId-image.png

attachmentId-image.png

全部评论(2)
只看楼主
P
panhuiwen
1楼

帮忙打印一下环境信息:

pip list | grep -E “deepspeed | triton”
2024/4/8
网
网友NkI6Ay
回复 @panhuiwen

deepspeed 0.12.3+git299681e.abi0.dtk2310.torch2.1.0a0

triton 2.1.0

2024/4/8
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据