2
1
运行时
单节点使用多张DCU时程序出现不稳定情况,多次运行结果不一致
2023-12-29 09:43:13
94

在单个节点上一个进程控制多张DCU时,程序出现不稳定情况,多次运行程序有时会随机在某一步出错。dtk版本是dtk-23.04

attachmentId-image.png

上图为正确结果。

attachmentId-image.png

上图在第5步出错。出错位置随机。检查程序未发现有明显未同步的地方,不知道是平台问题,还是程序编写问题

全部评论(2)
只看楼主
T
tianlh
1楼
我仔细对比了这两张图片,第5步,没有看出明显差异,您具体指哪个参数出错了?是直接运行程序还是sbatch脚本提交作业运行呢?脚本方便发一下吗?
2024/1/2
网
网友gtBK4p
回复 @tianlh
第五步残差residual不一样。直接运行程序和sbatch脚本运行结果均不一致。查了原因发现把程序中的hipStreamWaitEvent调用换成和hipStreamSynchronize简单的流同步操作后程序就没有问题了。但是现在出现一个新问题,就是在一个计算节点上运行程序偶尔会出现结果不一致的情况,但是这时候换一个计算节点程序就能正常运行,请问这是什么原因呢。
2024/1/2
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据