============================ System Management Interface =============================

PIDs for KFD processes:

PID: 3469325
PASID: 32778
HCU Node(Include CPU sort): ['9']
HCU Index: ['1']
GPUID: ['56342']
PCI BUS: ['0000:0a:00.0']
VRAM USED(MiB): 51507
VRAM USED(%): 79
SDMA USED: 0

PID: 3469011
PASID: 32768
HCU Node(Include CPU sort): ['8']
HCU Index: ['0']
GPUID: ['41400']
PCI BUS: ['0000:07:00.0']
VRAM USED(MiB): 51597
VRAM USED(%): 79
SDMA USED: 0

PID: 3137609
PASID: 32779
HCU Node(Include CPU sort): ['10']
HCU Index: ['2']
GPUID: ['46972']
PCI BUS: ['0000:0f:00.0']
VRAM USED(MiB): 51700
VRAM USED(%): 79
SDMA USED: 0

kill -9 3137609
bash: kill: (3137609) - No such process

2号卡没有任何任务运行但是仍有80%占用，kill进程id也释放不掉

全部评论（6）

只看楼主

hepj

1楼

可以试一下kill所有python进程看看，for i in `ps -ef | grep python| awk '{print $2}'`; do

kill -9 $i

done，如果用了ray 把相关的进程也kill一下for i in `ps -ef | grep ray| awk '{print $2}'`; do

kill -9 $i

done。用的是容器的方式运行的，则可以吧容器重启。如果还是不行可以尝试重启下机器

2025/4/23

网

网友ztfqqG

回复 @hepj

容器重启也不行，还有其他任在运行，机器是不能重启了55

2025/4/23

renzhc

回复 @hepj

smi里显示的是宿主机上的pid，如果宿主机上也找不到对应pid的任务，可以试试下面两种方式，卡上的任务会中断，一般不需要重启，但最好还是保存下数据：

1. rocm-smi --dcureset -d {卡号}

2. systemctl stop hymgr ; rmmod -f hydcu ;systemctl start hymgr（驱动重加载要一段时间，要等一会）

2025/4/25

网

网友ztfqqG

回复 @hepj

Error: Invlaid arguments: --dcureset为什么会这样呢

2025/4/25

全部5条回复

没有更多内容了

楼主

0 点赞

0 帖子

楼主热帖

暂无数据