4
运行时
标题
2025-03-12 11:26:06
179

使用 rock-6.3.3-V1.8.0.run  和 DTK-25.04-Anolis8.6-x86_64.tar.gz  后,PCI 带宽上不去

我的卡是 K100_AI,VBIOS 版本为 5.717.001200r.669685 

查看 PCIe 的频率,有两种选择,但都是 2.5GT/s;而老版本驱动的 1 号会显示 8GT/s

$ rocm-smi -s
......
HCU[0]		: Supported pcie frequencies on HCU 0
HCU[0]		: 0: 2.5GT/s, x16 80Mhz
HCU[0]		: 1: 2.5GT/s, x16 308Mhz *
......

使用 hyqual  测试 PCIe 带宽,也显示 FAIL;而老驱动有 14 GB/s 的带宽:

$ sudo ./run 
Please select one of the following options:

	1. Thermal Core Qualification Test
	2. Thermal Mem Qualification Test
	3. Thermal Core and Mem Qualification Test
	4. PCIe Bandwidth Test
	5. xHMI Bandwidth Test
	6. Graphic Mem Bandwidth Test
	7. Peak Performance Test

	h. HYQual Version
	t. Generate System Topology
	q. Quit HYQual
Key-in selection followed by <enter>:4
----------------------------------------------
Theoretical raw bandwidth = 32	 GB/s
Min average raw bandwidth = 22.4 GB/s
DCU0 PCIe Fb to Sys:  3.589 GB/s FAIL
DCU0 PCIe Sys to Fb:  3.626 GB/s FAIL

使用 rocm-bandwidth-test  的测试结果与 hyqual  一致,只有 3.5GB/s

全部评论(3)
只看楼主
Y
yewq
楼主
2楼

我的机器因为 PCI bridge 的问题,将卡的速率限制在了 PCIe 3.0x16

```shell

$ dmesg

[ 1.203739] pci 0000:43:00.0: 126.016 Gb/s available PCIe bandwidth, limited by 8.0 GT/s PCIe x16 link at 0000:40:01.1 (capable of 252.048 Gb/s with 16.0 GT/s PCIe x16 link)

$ sudo lspci -vvs 40:01|grep Lnk

LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L1, Exit Latency L1 <64us

LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

LnkSta: Speed 8GT/s, Width x16

```

但最新的驱动似乎将速率限制在了 PCIe 1.0x16

2025/3/12
L
liumg
1楼
虚拟机???
2025/3/12
Y
yewq
回复 @liumg
物理机
2025/3/12
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据