3
框架组件
标题
2024-12-03 18:13:07
134

请问XInference如何挂载dcu运行大模型的

全部评论（10）
只看楼主
网
网友porgfh
3楼
你好，这个问题是怎么解决的呢？
2025/8/8
L
lvzhen
2楼
您好，请发一下运行步骤哈
2024/12/4
网
网友BdT3aF
回复 @lvzhen
我找到一个教程安装XInference，我试着直接pip install XInference，运行成功，也成功运行了qwen2.5-0.5B模型，但是他是在cpu上跑的没有在dcu上。我运行torch.cuda.is_available()显示false。刚才我在官网找到了我系统对应版本的torch重新安装了一遍。torch.cuda.is_available()显示为true了，也识别到了我本机的8张dcu，但我在运行模型时报错了
2024/12/4
网
网友BdT3aF
回复 @lvzhen

我的环境是

8*K100 64GB

2*Hygon C86 7380 32 Cores

1TB Memory

Ubuntu 22.04.1

DCU driver: rock-5.2.0-5.16.29-V01.13

DTK 23.10.1
2024/12/4
L
lvzhen
回复 @lvzhen
您好，方便运行一下命令：hy-smi和rocminfo么？
2024/12/4
X
xingh
1楼
要运行大模型，首先确保正确安装了DCU驱动，然后按照顺序安装XInference及其相关依赖，通常这样就能顺利运行大模型。如果遇到具体问题，可以进一步展示出错位置，希望能帮到您！
2024/12/4
网
网友BdT3aF
回复 @xingh

目前是通过XInference运行起来大模型了,但是我查看dcu的信息，并没有显示显存占用

2024/12/4
X
xingh
回复 @xingh
请问有中断报错吗
2024/12/4
网
网友BdT3aF
回复 @xingh
没有报错，模型能够正常输出，但是似乎是cpu运行的，没有使用dcu
2024/12/4
全部4条回复
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据