0
1
0
0
Qwen
有没有人成功在k100ai上编译成功llama.cpp
2026-07-14 14:16:00
266
操作
https://github.com/ggml-org/llama.cpp 根据这个帖子来看,llama.cpp是支持hip后端的。但是我在k100ai上,采用DTK26.04+vllm0.15的镜像中的hipcc作为编译器,编译一直失败。有没有大佬成功编译过的?
全部评论(12)
只看楼主
C
C
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
coolscript
只看此人
2楼
大佬们有编译指导么,新手完全没法编译通过……
7/28
赞
回复
@圈友
暂无数据
尚未选择
发送
C
C
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
Chan
只看此人
1楼
我编译成功了,但是GPU推理出来的都是//,还是没用
7/21
赞
1
回复
@圈友
暂无数据
尚未选择
发送
陆
陆
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
陆一嘉
回复
@Chan
我知道这个,这是直接使用HIP编译出来,然后使用量化模型的输出,我遇到过这个。
7/21
赞
回复
@圈友
暂无数据
尚未选择
发送
陆
陆
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
陆一嘉
回复
@Chan
fp32,fp16,bf16应该都没有问题
7/21
赞
回复
@圈友
暂无数据
尚未选择
发送
C
C
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
Chan
回复
@陆一嘉
昨晚终于成功了,qwen3.5-27b-k4m,30t/s
7/22
赞
回复
@圈友
暂无数据
尚未选择
发送
全部10条回复
没有更多内容了
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据