2
其他
Gemma 4 31B MTP加速跑通了,速度翻倍
2026-05-07 10:04:21
306
已经跑通了 Gemma 4 31B MTP。 Z100L*4(pcie 3.0) 核心结论:**Gemma 4 assistant 必须和 31B target 一起走 TP**。如果 target TP、assistant 只复制到单卡,**shared\_kv\_states** 语义不匹配,draft acceptance 会变成 **0%**,反而降速。assistant 也走 TP 后,MTP 正常工作。 **速度** | 输出长度 | no-MTP | MTP | acceptance | | --------- | ----------- | ----------- | ---------- | | 128 token | 4.879 tok/s | 9.486 tok/s | 41.8% | | 256 token | 4.900 tok/s | 8.805 tok/s | 37.7% | | 512 token | 4.728 tok/s | 8.335 tok/s | 42.0% |
全部评论(3)
只看楼主
_
_scopery
2楼
能分享启动命令吗?
6/2
M
muyi_muyi
回复 @_scopery
你用不了,我自己编的vllm等,不是用个海光给的
6/4
M
muyi_muyi
楼主
1楼
attachmentId-image.png
5/19
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据