1
DTK开发
是否有python程序接口可以直接输出每张DCU的显存占用率数字
2024-08-21 16:14:49
123

目前我这边有训练程序会出现显存高占用峰值的情况,而每次迭代就清理一次显存缓冲区会减慢训练速度,所以想在代码中添加显存占用率达到一定比例后才自动清理显存缓冲区的功能,那么就需要实时读取每张DCU的显存占用率数字,目前N卡有pynvml包可以直接返回显存占用情况,但是DCU上并没有发现相关工具,是否存在这种工具包呢??
或者如何直接采用rocm-smi命令返回显存占用?

全部评论(5)
只看楼主
D
dcu_fae_zhangxp
2楼
你好,原始的rocm-smi并没有可以只返回数字的参数,但是可以借助linux其他指令来做到rocm-smi --showmeminfo vram | grep "DCU\[0\]" | grep "vram Total Used Memory" | awk '{print $NF}'
2024/8/22
D
dcu_fae_zhangxp
回复 @dcu_fae_zhangxp
2024/8/22
东
东风
回复 @dcu_fae_zhangxp
这正好解决了我的问题,非常感谢!:OK:emoji
2024/8/22
D
dcu_fae_zhangxp
1楼
你好,目前DCU没有做过类似pynvml的库,可以使用rocm-smi --showmeminfo vram来查看显存占用情况
2024/8/21
东
东风
回复 @dcu_fae_zhangxp
这个命令返回了所有卡的显存信息,有没有只返回某张卡显存使用和剩余的命令,并且只返回一个数字,方便被程序直接读取成变量
2024/8/21
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据