export HSA_OVERRIDE_GFX_VERSION=9.2.8 export ROCR_VISIBLE_DEVICES=0 ./ollama serve
是不是每次运行ollama时,都要执行上面两个export呢? 我在运行ollama后,查看hy-smi时,占用率都是0。cpu占用率很高。
你本身有个ollama服务没有关闭(CPU版的),一直占用着这个端口,导致你刚才的server启动失败
老师,您可以检查下ollama的编译目录下:是否存在linux-amd64的编译结果目录。
是不是我获取的项目代码不对
我是麒麟v10,sp3系统,dtk-24.04.3,
项目代码应该获取那个呢?
git clone -b 0.5.7 http://developer.sourcefind.cn/codes/OpenDAS/ollama.git
还是,手册上不一样
git clone -b 0.5.7+dtk24.03 http://developer.sourcefind.cn/codes/OpenDAS/ollama.git --depth=1
你本身有个ollama服务没有关闭(CPU版的),一直占用着这个端口,导致你刚才的server启动失败
老师,您可以检查下ollama的编译目录下:是否存在linux-amd64的编译结果目录。
正常情况下:ollama编译后会生成两个目录:cpu,dcu相关的编译文件。