驱动运行一段时间后,上报的可用卡数会变化,hygon.com/dcu 资源数量不是 6,而是在 2~6 之间波动(常稳定在 2 或 3)DCU 型号:K100_AI(DID 0x6211),6 张,每张显存 64 GiB,温度/功耗正常拓扑信息(hy-smi --showtopo):
问题节点 sugon01:6 卡间 link type 全部为 PCIE,hops 均为 2,所有卡间权重全部为 0;全部卡在 NUMA node 0。
正常节点 ainode5:2 卡间 hops=2,link type=PCIE,权重为 40。设备插件日志重复打印 rsmiNumMonitorDevices:6,可见 6 张物理卡均被识别,但最终上报的逻辑设备数却很少,推测其内部根据拓扑权重进行分组,权重为 0 可能触发了异常的分组合并或收缩逻辑。

目前显卡驱动和Vbios已更新rock-6.3.30-V1.4.1a.run这个相应的版本,但是还是会出现图中现象,进一步排查发现dcu-operator中的dcu-device-plugin-daemonset、dcu-exporter大概隔10min左右会因为自身报错而重启,这是导致可用卡数来回变化的原因。想问一下有什么解决办法吗