4
数学库
新人贴
海光K100机器上onnxruntime用ROCM单线程可以跑但多线程报错
2025-11-18 09:51:42
101
海光K100机器上onnxruntime用ROCM单线程可以跑但多线程报错,这是为什么,有解决办法吗
全部评论(6)
只看楼主
李
李沁洋
2楼
python版本的onnxruntime 除了 provider不一样 还有啥要注意的吗?没看到官方对于这个的支持描述文档呢
2025/12/18
_
_mi2gpwu5in7o
回复 @李沁洋
我没跑python的只跑了c++的,没其他要改的,不过就是onnx多线程会报错

2/27
热
热心网友
1楼
您好,onnxruntime跑多线程的话需要创建多个session,您可以再试一下
2025/11/19
_
_mi2gpwu5in7o
回复 @热心网友
但这样每个session都要初始化一次,性能会很慢啊
2025/11/20
热
热心网友
回复 @_mi2gpwu5in7o
初始化只需要一次,不影响推理呀
2025/11/20
_
_mi2gpwu5in7o
回复 @热心网友
现在有新发现,海光K100机器上面跑onnx模型多线程,如果这个onnx模型中有Conv算子,多线程就会报错MIOPEN failure 7: miopenStatusUnknownError,Non-zero status code returned while running Conv node,如果模型没有Conv算子,则多线程不会报错可以正常运行

是不是不支持啊
2/28
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据