3
框架组件
标题
2025-05-28 11:17:46
109

如何使用VLLM发布Qwen2.5-VL?

如题参考的https://sourcefind.cn/#/model-zoo/1896814890439540737教程,那么VLLM的版本要用哪个?

全部评论(2)
只看楼主
R
renzhc
2楼
qwen2.5-vl需要0.7.2的vllm,另外transformers也需要用较新的版本,可以使用下面的镜像docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.7.2-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250510-fixpy
2025/5/28
D
DCUKiz
楼主
1楼

1、ValueError: Model architectures ['Qwen2_5_VLForConditionalGeneration'] are not supported for now

2、assert "factor" in rope_scaling
2025/5/28
没有更多内容了
--
楼主
Level.4
0 帖子
楼主热帖
暂无数据