5
模型应用
新人贴
支持GLM 4.7-Flash 模型的vllm 版本什么时候发布? K100AI
2026-01-29 10:59:20
247
目前的vllm 0.11.0版本推理会报错,提示部分库版本过低!或者提供具体修改方案
全部评论(3)
只看楼主
W
Wendy Kaze
2楼
在我这里成功跑起来了,但是速度只有30tok/s大概,并且输出1000多字左右就会开始循环重复,可用性不太行。有愿意尝试的可以试一下:
1.安装最新的 transformers : pip install git+https://github.com/huggingface/transformers.git
2.根据transformers的迁移指南修改vllm里所有的all_special_tokens_extended为_extra_special_tokens
3.移植迁移最新vllm仓库里vllm/model_executor/models/路径下glm4_moe_lite.py、glm4_moe.py、glm4_moe_mtp.py和glm4_moe_lite_mtp.py有关的文件,移植的时候主要要修改的点有两个,一个是SharedFusedMoE的import路径要改回0.11.0版本的,另一个是embed_input_ids方法在0.11.0里叫做get_input_embeddings
4.根据https://hf-mirror.com/zai-org/GLM-4.7-Flash/discussions/3,在is_deepseek_mla函数中添加glm4_moe_lite和glm4_moe_lite_mtp即可,该函数在0.11.0位于vllm/config/model.py文件中

然后应该就可以跑起来了,参数参考glm-4.7-flash的模型仓库,不要加--enable-expert-parallel

循环重复的问题不知道有没有大佬能解决
1/29
吕
吕达
回复 @Wendy Kaze
感谢回复
1/30
L
litzh
1楼
该模型当前还不支持,需要最新vLLM0.15+版本支持,正式发版时间当前还未确定。
1/29
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据