1
2
模型应用
Ollama 0.9.0编译后执行乱码
2025-06-18 17:12:43
166

运行设备
8卡K100_AI
目前情况是，可以认到HCU，能够加载模型到HCU，但run model就会出现乱码

永远返回都是
GGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGG

全部评论（7）
只看楼主
L
liumg
2楼
Ollama 还没支持到这个版本，目前DCU支持最新的是0.6.7。git clone -b 0.6.7 http://developer.sourcefind.cn/codes/OpenDAS/ollama.git --depth=1
2025/6/19
网
网友TxGDSQ
回复 @liumg

不是驱动的问题，主要问题应该是某个cu文件，需要同步更新，这个具体问题在哪里还没有定位到。

目前主要关注mmvq.cu
2025/6/19
L
liumg
回复 @liumg

http://developer.sourcefind.cn/codes/OpenDAS/ollama.git 可以参考0.6.7分支

2025/6/20
网
网友TxGDSQ
回复 @liumg
尝试过0.9.0里直接替换0.6.7里的mmvq.cu发现不行
2025/6/20
东
东风
1楼
用pytorch测试一下GPU的FP64、FP32和CPU的FP64矩阵乘法的计算结果，如果这三者差距太大，说明卡坏了
2025/6/19
网
网友TxGDSQ
回复 @东风
尝试过了，我自己有普通模型跑着的，那个正常
2025/6/19
东
东风
回复 @东风
那就是dtk或者ollama的问题了，这要找厂家
2025/6/21
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据