0
12
0
0
Qwen
请问现在dcu版本的vllm,是否支持qwen3系列模型的lora微调部署?以及其他的特殊配置?
2025-10-17 01:35:27
245
操作
如题,我想了解下使用vllm时,使用qwen3系列(如qwen3-8b/14b)是否支持multi-lora的功能? 此外,有没有人知道qwen2-vl或者qwen2.5-vl系列,是否支持multi-lora的功能。 除了这俩以外,vllm中的guided-json功能,是否支持(即强制输出符合格式要求的json的能力) 另外,是否支持vllm中的sleep-mode功能(即将模型加载到内存中,以及从内存中快速唤醒出来的能力) 看下有无人知道其中的一个或者多个问题,感谢解答~
全部评论(2)
只看楼主
Y
Y
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
ydd
只看此人
2楼
你好,请教一下,现在7月支持Qwen3-VL-8B-Instruct的微调的多个lora模型的推理吗?vllm的版本要在0.12以上
7/29
赞
回复
@圈友
暂无数据
尚未选择
发送
R
R
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
renzhc
只看此人
1楼
multi lora,先前版本做过验证,支持,用法同官方; guided json,先前版本做过验证,支持,用法同官方; sleep mode暂不支持,已提交适配需求,未来或可支持。
2025/10/27
赞
1
回复
@圈友
暂无数据
尚未选择
发送
没有更多内容了
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据