3
4
AI人工智能
求vllm安装教程
2024-04-25 17:38:19
116

我在网站上找到了vllm0.3.3的包,安装后在启动时xFormers报错,vllm代码仓库上有针对xFormers的rocm补丁,请问DCU上有什么特殊处理吗,谢谢!

全部评论(2)
只看楼主
P
panhuiwen
1楼
您可以参考:https://developer.hpccube.com/codes/OpenDAS/vllm/-/tree/vllm-v0.3.3-dtk23.10。 目前xformers需要基于DCU进行重新编译。
2024/4/26
网
网友AvVhw2
回复 @panhuiwen
好的,我试一下,十分感谢!!!
2024/4/26
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据