4
数学库
挂载8张DCU时,rocminfo报错
2025-02-12 10:57:36
206

机器基础配置:物理服务器为海光7390,安装8张Z100。虚拟云主机为64核心,128G内存,kylin-desktop-v10sp1操作系统。

已部署DTK环境:24.04.3

已部署anaconda环境,python3.8,

已安装DAS:torch-2.3.0+das.opt2.dtk24043-cp38-cp38-manylinux_2_28_x86_64.whl

问题:当挂载1张DCU时,rocm-smi, rocminfo, hy-smi,均正常输出。pytorch调用cuda正常。

当挂载8张DCU时,rocm-smi正常显示8张DCU,rocminfo报错,且usermod -a -G 39 gea将用户加入39组后仍无效。pytorch无法调用cuda。

报错文字:hsa api call failure at: /data/jenkins_workspace/workspace/galaxy_release/galaxy/rocminfo/rocminfo.cc:1165

Call returned HSA_STATUS_ERROR_OUT_OF_RESOURCES: The runtime failed to allocate the necessary resources. This error may also occur when the core runtime library needs to spawn threads or create internal OS-specific events.

全部评论(1)
只看楼主
H
hepj
1楼
单从您给的信息暂时看不出问题,您可以发一下详细的系统日志来进一步确认问题
2025/2/13
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据