1
1
数学库
提问帖
有回复
卡报错Device 0000:0f:00.0 is isolation
2026-05-22 09:37:02
171
卡为K100_AI,一机8卡,使用的驱动是https://download.sourcefind.cn:65024/6/main/dtk-26.04%E9%A9%B1%E5%8A%A8, rock-6.3.30-V1.4.1a.run,加载模型为qwen3-32b, 使用镜像是image.sourcefind.cn:5000/dcu/admin/base/custom:pytorch2.9.1-ubuntu22.04-dtk26.04-0130-py3.10-20260204-qwen3\_5, 启动命令是: vllm serve /data/qwen3-32b --max-model-len 32768 --gpu-memory-utilization 0.9 --dtype auto --tensor-parallel-size 2 --trust-remote-code --reasoning-parser deepseek_r1 --enable-auto-tool-choice --tool-call-parser hermes 启动时正常启动,但是请求过来后,显示: /opt/hyhal/bin/hy-smi ![attachmentId-image.png](/api-forum/file/RedirectImage?path=20260522/1779413893774_image.png) === 还有一种是卡全找不到的: ![attachmentId-image.png](/api-forum/file/RedirectImage?path=20260522/1779415107704_image.png) 查看系统日志显示: ================= hycu 0000:0f:00.0 ... XID:160 ... PCIe link lost! pcieport 0000:0c:00.0: DPC: ERR_FATAL detected hycu 0000:0f:00.0 ... XID:12 ... NBIO DED ... hycu 0000:0f:00.0 ... uncorrectable hardware errors detected in pcie_bif block hycu 0000:0f:00.0 ... RAS controller interrupt triggered by NBIF error hycu 0000:0f:00.0 ... XID:51 ... HCU fault isolation success! 而且是请求多张卡会导致多张卡一起出现这个问题,断电重启后可恢复,但是重启服务还是会导致这个问题,这个该怎么排查呢
全部评论(4)
只看楼主
U
u_1783477390
2楼
我也遇到卡报错Device 0000:xxx is isolation的问题了,请问一下咋解决的 @网友vQLBnh
7/8
L
lim
1楼
麻烦重启负责一下 看系统日志还有显示这个XID12吗
5/22
L
lim
回复 @lim
复测一下
5/22
网
网友vQLBnh
回复 @lim
之前通过reboot或者impi断电重启,还是会有这个错误,不过重启后没注意系统日志里有这个XID:12没;
但是通过插拔电源重启机器,目前又没这个错误了,模型正常运行了,会不会是电压的问题:leiben:emoji
5/22
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据