1
模型应用
标题
2025-04-24 16:23:13
132

在通过vllm 加载Qwen/Qwen2.5-VL-72B-Instruct 模型是报如下错误

File "/root/miniconda3/envs/vllm311/lib/python3.11/site-packages/transformers/models/auto/configuration_auto.py", line 1025, in from_pretrained
raise ValueError(
ValueError: The checkpoint you are trying to load has model type `qwen2_5_vl` but Transformers does not recognize this architecture. This could be because of an issue with the checkpoint, or becau
se your version of Transformers is out of date.
问题似乎出在Transformers需要采用4.51版本,但目前vllm版本 vllm-0.6.2+das.opt3.dtk2504-cp311-cp311-manylinux_2_28_x86_64.whl 不支持45以上版本

是否有解决方案

全部评论(4)
只看楼主
网
网友8C2N0P
3楼
我们也遇到了相同的错误
2025/4/27
网
网友8C2N0P
2楼
什么时候可以有vllm的新版本出来呢?
2025/4/27
H
hepj
1楼
您这个图片看不清楚,但看似来似乎是vllm和transformer版本兼容问题。目前vllm0.6.2确实还不兼容这个模型。您可以稍等一下我们的vllm新版本
2025/4/24
网
网友CekINd
回复 @hepj
大佬,啥时候更新呀?
2025/4/28
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据