2
4
2
框架组件
提问帖
有回复
新人贴
请问K100 AI支持vllm推测解码吗
2026-04-27 02:45:42
119
在华为卡和N卡上可以使用推测解码大幅度加速，海光的K100_AI能支持吗 --**speculative**-config **'{"method":"qwen3\_next\_mtp","num\_speculative\_tokens":2}'**
全部评论（2）
只看楼主
M
minfy
1楼
您好，K100-AI支持推测解码
4/28
X
xw
回复 @minfy
什么时候能支持dflash加速呢？vllm0.20.0官方已经支持了
4/28
没有更多内容了
--
楼主
Level.5
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据