最近尝试在国产化服务器海光DCU Z100L上部署Qwen 2.5 VL或者Qwen 3 VL模型, 但是均以失败告终。
以下帖子总结尝试过的步骤,和最终失败卡住的点,希望对大家有所帮助。
注意:20260210 17:00 目前是没有成功,只是总结经验,避免大家走老路。
**如果有大佬在Z100L上成功部署Qwen2.5 VL或者Qwen 3 VL的,请帮忙指正,万般感谢!!!**
尝试的组合:
- vllm 0.11.0 / 0.9.2 /0.8
- qwen 2.5 vl / qwen 3 vl
服务器:
- 系统:麒麟V10
- DCU:海光Z100L
### 尝试部署Qwen 3 (失败!目前镜像不支持Z100L)
- 尝试了vllm 0.11.0,但是没有成功,最终论坛lim大神回复总结为:Qwen3 VL需要vllm 0.11.0镜像,但是0.11.0目前不支持Z100,K100系列
### 尝试部署Qwen 2.5 + vllm 0.9.2 (失败:卡在 flash attn算法,AI分析其不是针对架构 gfx906编译的)
最终结论:最后卡在flash attn算子,可能不是针对Z100L的硬件架构gfx906来编译的。
步骤和报错如下图
