量化版本部署后感觉速度没有提升，itl反而下降导致整体输出耗时提高，https://modelscope.cn/models/Apsara-Stack/Qwen3.6-35B-A3B-INT8这个是可以运行的
0
0
0
0
K100-AI 64G显卡部署qwen3.6-35B-A3B是否支持量化版本部署，支持那个版本的量化模型
2026-07-15 17:57:18
194
K100-AI 64G显卡部署qwen3.6-35B-A3B是否支持量化版本部署，支持那个版本的量化模型
全部评论（1）
只看楼主
_
7/16
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据