光合开发者社区-论坛

光合基金

双节点NCCL卡死问题

2025-09-15 09:02:05

154

在测试NCCL的代码时候发现，单节点4卡可以正常使用。双节点8卡则会卡死，加上 export NCCL_DEBUG=INFO export NCCL_DEBUG_SUBSYS=INIT,NET 调试发现报错 i02r1n15:19717:19927 [0] /data/jenkins_workspace/workspace/rccl_release/src/misc/ibvwrap.cc:302 NCCL WARN Call to ibv_modify_qp failed with error Invalid argument 怀疑是IB出了问题。之后加上 export NCCL_IB_DISABLE=1 关了IB，程序可以正常跑通。因此怀疑是kshdnormal 队列IB的问题或者是我版本设定的问题。编译文件 ![attachmentId-05dca32929ef8b1e94e10cecac1ee2e3.png](/api-forum/file/Redirect?path=forum/qlss/1757897799937/05dca32929ef8b1e94e10cecac1ee2e3.png) 提交方式 ![attachmentId-4497d2b48becf960b9aa8208ad854d8d.png](/api-forum/file/Redirect?path=forum/qlss/1757897788841/4497d2b48becf960b9aa8208ad854d8d.png)

Skipper

3楼

您好，我今天也遇到类似NCCL库报错的问题然后关闭IB通信OK ，问一下你机器是海光底座吗

2025/9/22

changhl

回复 @Skipper

对于多节点nccl报错可以参考该文档：https://r0ddbu55vzx.feishu.cn/docx/Zw7OdDt4Go5Xi5xab07cQTLdnTg 排查思路：1.运行rccl-test进行多机测试，注意两个节点指定的通信网卡是否一致，在两个节点上设置指定NCCL_DEBUG=INFO，NCCL_DEBUG_FILE=%h-%p.log环境变量，查看每个rank进程的报错（一般情况下，通信网卡应保持一致）；2.如果上述的rccl-test按照文档中方式测试仍存在报错，可以编译支持rocm的perftest，测试 dcu-网卡-网卡-dcu 通信。

2025/9/22

Skipper

回复 @changhl

好的，谢谢

2025/9/23

xingh

2楼

可以尝试使用 ibv_devinfo 输出 IB 网卡信息，或者使用 rccl-test 测一下通信

2025/9/15

网

网友9ZpGXC

楼主

1楼

最新尝试：修改Makefile中的dtk版本25.04.1或23.10会编译报错

2025/9/15