光源上此模型的issue里有量化版的推理代码：https://developer.sourcefind.cn/codes/modelzoo/QwQ-32B_pytorch/-/issues/2
0
3
0
0
量化部署
2025-04-22 10:02:41
206
我当前有一台服务器，带两张K100_AI。
由于QWQ-32B的模型基本上就占了100GB的显存，只能同时跑一个模型。
现在希望能跑一下量化后的模型，来充分利用当前的硬件。
请问，能提供一个跑成功int8或int6量化的案例吗？
全部评论（7）
只看楼主
网
2025/4/22
网
好的，我现尝试下
2025/4/22
H
可以参考一下这个awq的量化推理https://www.sourcefind.cn/#/model-zoo/1882624668218818561
2025/4/22
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据