1
1
性能优化
Diffusion + YOLO 模型在海光 K100 显卡上推理显存异常
2025-06-19 13:23:59
232

我们在使用海光K100显卡进行Diffusion + YOLO模型推理时,发现显存占用远高于在英伟达显卡上的表现:

  • 在英伟达显卡(如A100)上,推理显存大约在10GB;
  • 而在海光K100上,显存使用接近40GB;
  • 推理过程虽然能跑通,但资源占用超出预期,影响部署效率和规模扩展。

目前我们使用的是PyTorch框架,模型结构和推理流程在两个平台是一致的,没有做特定平台优化。我们希望了解:

  1. 海光这边是否有工具可以支持我们分析显存使用情况,定位是哪些模块或变量占用了大量显存;
  2. 是否存在缓存、编译策略或算子等方面的优化建议;
  3. 是否可以安排相关专家支持我们一起分析和排查这个问题。
全部评论(1)
只看楼主
Y
yongdk
1楼

显存这块可以用hipprof分析

hipprof --leak-check --show-limit 3 --check-minsize 1024 ./leakProgram

2025/6/20
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据