2
Qwen
Qwen3-235B-A22B-Instruct-2507-AWQ量化模型在运行中提示“not supported by AWQMoeMarlin”
2025-10-17 13:50:05
222
运行环境: 4张K100_AI 容器image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.9.2-ubuntu22.04-dtk25.04-das1.6-py3.10-20250916-rc2中启动vllm 使用Qwen3-235B-A22B-Instruct-2507-AWQ量化模型(https://www.modelscope.cn/models/swift/Qwen3-235B-A22B-Instruct-2507-AWQ) 每一层都抛出警告“(VllmWorker rank=0 pid=697) WARNING 10-17 09:48:11 [awq_marlin.py:150] Layer 'model.layers.0.mlp.experts' is not supported by AWQMoeMarlin. Falling back to Moe WNA16 kernels.”,虽然可以正常运行,但是推理速度很慢。
全部评论(3)
只看楼主
赵
赵昌峻
2楼
成功了吗?
2025/10/27
C
codingmiao
回复 @赵昌峻
不行,各种调整,速度最多也就5tokens/s左右
2025/11/3
R
renzhc
1楼
设置export AWQ_MOE_SZ=0试一下
2025/10/17
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据