3
数学库
[失败][经验总结]海光DCU Z100L 部署Qwen2.5 VL 和Qwen 3.0 VL模型 目前任失败
2026-02-10 17:20:48
278
最近尝试在国产化服务器海光DCU Z100L上部署Qwen 2.5 VL或者Qwen 3 VL模型, 但是均以失败告终。 以下帖子总结尝试过的步骤,和最终失败卡住的点,希望对大家有所帮助。 注意:20260210 17:00 目前是没有成功,只是总结经验,避免大家走老路。 **如果有大佬在Z100L上成功部署Qwen2.5 VL或者Qwen 3 VL的,请帮忙指正,万般感谢!!!** 尝试的组合: - vllm 0.11.0 / 0.9.2 /0.8 - qwen 2.5 vl / qwen 3 vl 服务器: - 系统:麒麟V10 - DCU:海光Z100L ### 尝试部署Qwen 3 (失败!目前镜像不支持Z100L) - 尝试了vllm 0.11.0,但是没有成功,最终论坛lim大神回复总结为:Qwen3 VL需要vllm 0.11.0镜像,但是0.11.0目前不支持Z100,K100系列![attachmentId-image.png](/api-forum/file/Redirect?path=forum/lemonschwein/1770714829605/image.png) ### 尝试部署Qwen 2.5 + vllm 0.9.2 (失败:卡在 flash attn算法,AI分析其不是针对架构 gfx906编译的) 最终结论:最后卡在flash attn算子,可能不是针对Z100L的硬件架构gfx906来编译的。 步骤和报错如下图 ![attachmentId-image.png](/api-forum/file/Redirect?path=forum/lemonschwein/1770714942622/image.png)![attachmentId-image.png](/api-forum/file/Redirect?path=forum/lemonschwein/1770714988761/image.png)![attachmentId-image.png](/api-forum/file/Redirect?path=forum/lemonschwein/1770715037822/image.png)
全部评论(5)
只看楼主
不
不周山招待一周
2楼
楼主解决了没?我们也有同样需求  Z100L卡
3/5
W
wangleming
回复 @不周山招待一周
没有啊,最终走到 模型权重加载,最后推理报错(flash attn有问题)
3/6
_
_mkm3sc7k5up7
1楼
咦~K100和BW1000都已经测试通过了
2/11
W
wangleming
回复 @_mkm3sc7k5up7
嗯,Z100L的硬件架构好像不太一样。有可能是这个导致的。您可以试验下Z100L
2/12
W
wangleming
回复 @_mkm3sc7k5up7
请问K100上部署的是Qwen VL系列吗?还是Qwen系列?您方便的话,可以指导下吗? 或者有什么教程链接不?

2/12
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据