每个docker里面部署一个大模型,我想第一个部署一个qwen2.5的语言模型,第二个部署一个qwen-vl的视觉模型,第一个语言模型部署好了,可以正常使用,但是第二个视觉模型一直报错,我从网站下载了docker pull image.sourcefind.cn:5000/dcu/admin/base/vllm:0.8.5-ubuntu22.04-dtk25.04.1-rc5-das1.6-py3.10-20250724 这个镜像,然后启动模型,还是说不支持。用ai分析日志,ai给的结果是:
你是在海光 DCU 上用 Docker + vLLM 部署 **Qwen2.5-VL** 模型,启动时报了:
> `ValueError: Following weights were not initialized from checkpoint...`
---
## 🚨 核心问题:模型权重和 vLLM 加载逻辑不匹配
这个报错的含义是:
> vLLM 尝试加载模型时,找不到一大批参数(LayerNorm / QKV / MLP 等)的权重。
也就是说:
* **权重文件 (`pytorch_model.bin`, `model.safetensors`, etc.) 不完整或结构与模型定义不匹配。**
* vLLM 期望的是 “纯语言模型结构 (Qwen2.5)”,
但你给的是 “多模态模型 (Qwen2.5-VL)” —— 它包含视觉部分。
所以到底哪里有问题呢?