15
数学库
求解答。
2024-10-18 17:05:21
64

社区有开发针对传统模型推理的高性能框架吗？类似TensorRT那种。

MiGraphX 使用体验感太差了。
OnnxRuntime的可用接口太少了。GPU输入输出的接口都没有

全部评论（1）
只看楼主
gaoqiong
1楼

OnnxRuntime有GPU输入输出的端口的，可以使用io_binding的接口，下面给您一个python端的简单调用示例：

以下使用版本为开发者社区的onnxruntime-v1.15.0版本：

2024/11/20
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据