12
Qwen
请问现在dcu版本的vllm,是否支持qwen3系列模型的lora微调部署?以及其他的特殊配置?
2025-10-17 01:35:27
245
如题,我想了解下使用vllm时,使用qwen3系列(如qwen3-8b/14b)是否支持multi-lora的功能? 此外,有没有人知道qwen2-vl或者qwen2.5-vl系列,是否支持multi-lora的功能。 除了这俩以外,vllm中的guided-json功能,是否支持(即强制输出符合格式要求的json的能力) 另外,是否支持vllm中的sleep-mode功能(即将模型加载到内存中,以及从内存中快速唤醒出来的能力) 看下有无人知道其中的一个或者多个问题,感谢解答~
全部评论(2)
只看楼主
Y
ydd
2楼
你好,请教一下,现在7月支持Qwen3-VL-8B-Instruct的微调的多个lora模型的推理吗?vllm的版本要在0.12以上
7/29
R
renzhc
1楼
multi lora,先前版本做过验证,支持,用法同官方; guided json,先前版本做过验证,支持,用法同官方; sleep mode暂不支持,已提交适配需求,未来或可支持。
2025/10/27
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据