# 踩了三个月坑，聊聊我上手海光DCU的真实体感 刚接DCU适配任务那会儿，我其实没太当回事。毕竟写了好几年CUDA代码，想着不就是换一套API前缀嘛，全局替换一下就能跑通，顶多花一周时间。结果真扎进去才发现，远不是那么回事——从环境配置到代码迁移，从性能调优到生产运维，结结实实踩了一路坑，前半个月几乎每天都在推翻前一天的认知。 今天不想写高大上的优化方法论，就聊聊这三个月踩过来的真实体感，都是实打实摔过的跟头，给刚上手的朋友当个避坑参考。 ## 第一关：环境配到怀疑人生，真不是装个包就完事 我第一个跟头就栽在环境上，而且栽得特别低级。 当时拿到机器，听说DTK对应ROCm，想着和装CUDA Toolkit差不多，解压完配个PATH就完事了。写启动脚本的时候习惯了开头加 `set -euo pipefail`，觉得严谨，结果source完DTK的env.sh，脚本直接秒退，连个报错都没有。 那天折腾到半夜两点，重装了两次驱动，翻了半本安装手册，最后才定位到：env.sh里引用了没定义的 `LD_LIBRARY_PATH`变量，`set -u`把未定义变量当成致命错误，直接给脚本干退出了。找到原因的时候我盯着屏幕愣了半分钟，又气又好笑——这么大一工具链，官方脚本居然会踩nounset的坑。 后来又踩了PyTorch的坑。一开始想当然地 `pip install torch`，装完import一切正常，`torch.cuda.is_available()`也返回True，我还暗自庆幸，觉得适配也没那么难。结果跑模型的时候速度慢得离谱，一看设备名根本不对，合着装了个CPU版的PyTorch，兼容层把API都做了伪装，看着像能用，实际全在CPU上跑。 那之后我养成了个习惯：任何环境搭完，先跑三行命令再往下走：看hipcc版本、看设备架构、看torch的HIP运行时版本。三个信息都对得上，才算环境真的合格。不然看着“能跑”，其实全是假象。 ## 第二关：代码迁移真不是换前缀，静默错误最坑人 环境通了之后，我信心满满地开始迁算子。当时觉得HIP和CUDA长得几乎一模一样，全局替换 `cuda→hip`，编译一下就能跑。简单的逐元素算子确实顺利，直到迁一个归约算子的时候出了问题。 结果不报错、不崩溃，就是数值总比参考值小一点，差得不多，但稳定存在。我对着算法逻辑查了三天，翻遍了边界条件、数据类型、累加顺序，都没找到问题。直到偶然翻文档看到一句“DCU的Wavefront大小为64”，突然浑身一激灵——我写的warp内归约，循环是按CUDA的32线程写的，只迭代了5次，后半截32个线程的数据根本没参与计算。 改完重跑，数值立刻对上了。那天坐在工位上愣了好久：原来最危险的从来不是直接报错的问题，是这种能跑通、但结果悄悄错了的静默bug。如果不是提前做了数值校验，可能上线跑半个月都发现不了。 类似的坑还有很多：比如编译不指定 `--offload-arch`，编译零报错，运行直接报非法设备函数；比如内联PTX的代码，替换完前缀看着没问题，实际根本没法编译；比如FP8格式看着名字一样，底层编码规则完全不同，直接复用权重会出现精度漂移。 慢慢我也摸出了规律：别信“90% API一致”这种话，剩下10%的差异，全是埋在细节里的雷。越是底层、越是和硬件特性强相关的代码，越不能照搬经验，老老实实地按DCU的硬件规则重写，反而比缝缝补补更快。 ## 第三关：性能调优别上来就死磕内核，方向错了全是无用功 前两个月我有个特别固化的思维：性能不够，就去优化核函数。循环展开、指令调度、共享内存调优，一套组合拳打下去，总觉得能提不少。 有一次做推理性能优化，我对着热点的Linear算子改了快一周，调分块、调寄存器、换库调用，最后测下来单kernel提升了不到6%，还沾沾自喜，觉得自己优化得很精细。后来和同事聊起这事，他随口说了句“你绑NUMA了吗”，我当时还不以为意，觉得这点配置能有多大影响。 随手在启动命令前加了一行 `numactl`绑核，再一测，端到端直接提了32%。 我盯着测试结果看了快十分钟，感觉之前一周的班都白加了。原来真正的瓶颈根本不在计算上，是跨NUMA节点拖慢了数据传输，我在核函数里抠那点指令周期，连塞牙缝都不够。 从那之后我调优的顺序彻底反过来了： 先看硬件利用率，卡是不是真的在干活，有没有被CPU、IO拖后腿； 再看数据通路顺不顺，访存合并、算子融合、带宽瓶颈先解决掉； 最后才轮到内核级的细枝末节优化。 很多人一上来就说“利用率低就调大batch”，其实也不全对。有时候利用率低根本不是batch小，是数据预处理太慢，卡一直在等CPU喂数据。这时候你再调大batch，除了把显存撑爆，半毛钱用都没有。 ## 最后聊聊落地后，几个特别实在的心得 踩了三个月坑，项目也慢慢稳定跑在生产上了，回头看其实很多弯路本可以不走，都是带着CUDA的固有思维硬套出来的。有几个心得，特别想和刚上手的朋友说： 第一，先求稳，再求快。生产环境别贪那点速度，`--enforce-eager`该开就开，CUDA Graph能不用就先不用。偶发崩一次，排查一晚上，省那点性能全赔进去了。稳定运行比什么都重要。 第二，正确性校验永远放在性能前面。每次改完配置、换完算子，先跑数值校验，再看速度。快了百分之几十，结果悄悄错了，那还不如慢一点。尤其是大模型推理，生成文本看着像模像样，中间层数值已经飘了，这种问题最难查。 第三，别怕踩坑，也别嫌麻烦记笔记。国产生态确实没CUDA成熟，文档少、例子少，很多问题搜不到现成答案。但踩过的坑都记下来，下次遇到就是秒解，攒得多了，你就是团队里最懂DCU的人。 其实做DCU适配这事儿，说大了是支持信创、落地国产算力，说小了也是给自己攒经验。一开始觉得难，是因为习惯了成熟生态的便利，真沉下心摸透硬件特性，捋顺了整个链路，其实也就那么回事。 路慢慢走，坑慢慢踩，总会越来越顺的。