4
框架组件
在超算上用horovod进行多机训练,报错。
2024-03-19 09:39:39
121

训练案例是从horovod github上下载的,在n卡多机环境下没问题,module模块也加载了mpi。报错如下

attachmentId-image.png

slurm如下

attachmentId-image.png

全部评论(1)
只看楼主
T
tianlh
1楼

从您的图中发现几个问题,

1、slurm脚本里面没有DTK pytorch /tensorflow horovod的环境变量,

2、slurm脚本里队列参数 -p normal应该不是DCU队列,需确认

这里建议您使用容器实例板块,找到需要的镜像创建容器,这是容器实例板块的地址,https://ac.sugon.com/ac/console3/index.html#/container-service/container-instance

如果没有找到需要的镜像,也可在光源里查找 https://developer.hpccube.com/news/domestic/8476/
2023/5/10
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据