我们在使用海光K100显卡进行Diffusion + YOLO模型推理时,发现显存占用远高于在英伟达显卡上的表现:
- 在英伟达显卡(如A100)上,推理显存大约在10GB;
- 而在海光K100上,显存使用接近40GB;
- 推理过程虽然能跑通,但资源占用超出预期,影响部署效率和规模扩展。
目前我们使用的是PyTorch框架,模型结构和推理流程在两个平台是一致的,没有做特定平台优化。我们希望了解:
- 海光这边是否有工具可以支持我们分析显存使用情况,定位是哪些模块或变量占用了大量显存;
- 是否存在缓存、编译策略或算子等方面的优化建议;
- 是否可以安排相关专家支持我们一起分析和排查这个问题。
显存这块可以用hipprof分析
hipprof --leak-check --show-limit 3 --check-minsize 1024 ./leakProgram