光合开发者社区-论坛

⁴

数学库

提问帖

有回复

新人贴

8卡DUC K100_AI 64G版本的支持 Qwen‑397B‑GPTQ‑INT4吗

2026-07-09 20:02:35

138

8卡DUC K100_AI 64G版本的支持 Qwen‑397B‑GPTQ‑INT4吗，有人验证过吗。

全部评论（3）

只看楼主

网

网友oqFqLM

1楼

支持int8 可以参考 https://github.com/HYGON-AI/dcu-inference-cookbook/blob/main/docs/model-deployment/vllm/qwen3.5.md

7/20

要

要有光

回复 @网友oqFqLM

谢谢我看看

7/23

要

要有光

回复 @要有光

https://github.com/HYGON-AI/dcu-inference-cookbook/blob/main/docs/model-deployment/vllm/qwen3.5.md 整个地址咋突然没了

7/29

没有更多内容了

楼主

0 点赞

0 帖子

楼主热帖

暂无数据