1
Qwen
有没有人成功在k100ai上编译成功llama.cpp
2026-07-14 14:16:00
266
https://github.com/ggml-org/llama.cpp 根据这个帖子来看,llama.cpp是支持hip后端的。但是我在k100ai上,采用DTK26.04+vllm0.15的镜像中的hipcc作为编译器,编译一直失败。有没有大佬成功编译过的?
全部评论(12)
只看楼主
C
coolscript
2楼
大佬们有编译指导么,新手完全没法编译通过……
7/28
C
Chan
1楼
我编译成功了,但是GPU推理出来的都是//,还是没用
7/21
陆
陆一嘉
回复 @Chan
我知道这个,这是直接使用HIP编译出来,然后使用量化模型的输出,我遇到过这个。
7/21
陆
陆一嘉
回复 @Chan
fp32,fp16,bf16应该都没有问题
7/21
C
Chan
回复 @陆一嘉
昨晚终于成功了,qwen3.5-27b-k4m,30t/s
7/22
全部10条回复
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据