2
框架组件
新人贴
triton 推理 分类检测模型
2026-07-29 17:00:30
82
预处理 和 推理 部分如何加速?有没有相关的demo。
K100-ai
大模型
deepseek
qwen
dtk
全部评论(1)
只看楼主
L
lironggui
1楼
建议先抓一下profiling数据,看看性能瓶颈在哪里,然后有针对的优化
给你一些优化思路:
torch.compile
内存格式转换:NCHW->NHWC
气泡消除
warmup
算子融合
8/3
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据