2
AI人工智能
【问题】虚拟机环境 报TORCH_USE_HIP_DSA相关报错
2024-08-15 17:30:47
441

1 详细描述:

虚拟机环境,当跑torch相关模型,float16相关精度,会报TORCH_USE_HIP_DSA相关报错。通过简单的赋值操作进行验证也能复现这个问题。

attachmentId-image.png

2 分析原因:

这是由于rocm5.6以后的版本要求CPU支持PCIe atomics,当服务器默认的是disabled的时候,就会出现上面问题;
PS:dtk24.04是主要组件是基于rocm5.7版本进行自主开发的。

attachmentId-image.png

https://rocm.docs.amd.com/projects/install-on-linux/en/latest/reference/system-requirements.html

DTK24.04之前的版本,对该特性不明显,所以DTK23.10以前的版本对这个问题没有感知,所以老版本dtk以及相应的das开发包,没有这个问题。

3 解决方式:

首先 ,宿主机(物理机) BIOS开启atomic设置
Hygon 平台,如X7340H0,X7840H0机器,修改bios:

  1. Ctrl + F11
  2. Advanced -> PCI Subsystem Settings -> PCI Express GEN * Settings -> AtomicOp Requester Enable 选择enabled

Intel 平台,如X640 G40 X620 G40机器,修改bios:

  1. Ctrl + F11
  2. iio configureation + iio配置 -> PCIe Atomic Operation Request Support 选择yes

其次 ,虚拟机插件采用最新的v0.4.0版本:hydcu_pci_fixup_header_0.4.0.bin
https://download.sourcefind.cn:65024/directlink/5/DCU%E7%9B%B4%E9%80%9A%E6%8F%92%E4%BB%B6/hydcu_pci_fixup_header_0.4.0.bin

全部评论(2)
只看楼主
暂无数据
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据