数学库
新人贴
【请教】Z100L单卡 尝试部署Qwen3VL以及Qwen2.5VL失败
2026-02-02 11:53:11
255
第一次接触国产化设备上的部署，尝试两天均失败， 尝试了在服务器上部署Qwen3VL以及Qwen2.5VL，但最终都失败了。 系统：麒麟V10 DCU：Z100L vllm尝试了0.9 和0.8的，qwenvl模型尝试了 qwen3vl和qwen2.5，最终docker都跑不起来。 vllm0.9的dtk包 + qwen2.5vl：最终结果显示与flash attn有关，模型权重已经加载。 其他组合都是runtime error。 请问论坛中有相应的具体教程吗？或者是有其他可以解决的渠道吗（开发者群之类的）
全部评论（13）
只看楼主
L
lijuntao
3楼
你好，请问最终用的什么镜像部署了Qwen3VL和Qwen2.5VL?
10/14
L
lim
2楼
https://developer.sourcefind.cn/codes/modelzoo/qwen3-vl_pytorch 这里有vllm推理的样例
2/2
L
lim
回复 @lim
当前Z100L可使用0.5.0版本的vllm，qwen3vl需要vllm0.11.0 qwen2.5vl需要vllm v0.7.2
2/2
W
wangleming
回复 @lim
谢谢:qiang:emoji，您的意思是Z100L最高支持0.5.0的vllm吗？但是我想要至少运行qwen2.5vl的话，是不是再Z100L上行不通？
2/4
L
lim
回复 @wangleming
您可以试试 docker pull harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-das1.7-py3.10-20251203
Z100L&K100上推理 dense模型只能使用v0 engine+eager模式
2/9
全部6条回复
Y
yanzy
1楼
试试vllm0.11.0版本
2/2
W
wangleming
回复 @yanzy
谢谢:baoquan:emoji
2/4
W
wangleming
回复 @yanzy
请问vllm0.11.0版本的dtk编译包在哪里下载？我只找到最新版本是0.9的
2/4
W
wangleming
回复 @wangleming
找到了，谢谢

2/6
全部4条回复
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据