已经跑通了 Gemma 4 31B MTP。
Z100L*4(pcie 3.0)
核心结论:**Gemma 4 assistant 必须和 31B target 一起走 TP**。如果 target TP、assistant 只复制到单卡,**shared\_kv\_states** 语义不匹配,draft acceptance 会变成 **0%**,反而降速。assistant 也走 TP 后,MTP 正常工作。
**速度**
| 输出长度 | no-MTP | MTP | acceptance |
| --------- | ----------- | ----------- | ---------- |
| 128 token | 4.879 tok/s | 9.486 tok/s | 41.8% |
| 256 token | 4.900 tok/s | 8.805 tok/s | 37.7% |
| 512 token | 4.728 tok/s | 8.335 tok/s | 42.0% |