1
1
1
框架组件
不能启动LLM的问题
2024-03-19 09:39:19
186

想在服务器上部署一个chatglm-6b模型(https://github.com/THUDM/ChatGLM-6B)
配置完环境,运行 python cli_demo.py 报告以下错误:

attachmentId-image.png

根据requirements.txt,torch>=1.10,我认为不是torch版本过旧的问题。请问是否有办法解决?

全部评论(3)
只看楼主
网
网友azm6N3
2楼
你好,请问你有遇到内存不足的情况吗,我也是在部署chatglm-6b,但是进程直接被killed了。
2023/6/7
D
drink
回复 @网友azm6N3
内存不足可以增加交换空间swap。
2023/6/8
网
网友xsaBxI
楼主
1楼
已解决 参考https://forum.sourcefind.cn/thread/262
2023/5/19
没有更多内容了
--
楼主
Level.4
0 帖子
楼主热帖
暂无数据