光合开发者社区-论坛

Qwen

新人贴

DeepSeek-V3.2-AWQ和Qwen3-Next-80B-A3B-Thinking-AWQ-4bit支持吗？

2025-12-05 14:49:30

319

在显存足够的情况下，用对应的加速卡，按照光源的镜像，可以成功适配 DeepSeek-V3.2-AWQ和Qwen3-Next-80B-A3B-Thinking-AWQ-4bit 这俩量化模型吗？目前我在K100-AI上面https://developer.sourcefind.cn/codes/modelzoo/qwen3-next_sglang 参考这个教程适配Qwen3-Next-80B-A3B-Thinking-AWQ-4bit失败

回复 @yanzy

报错是这个， python3 -m sglang.launch_server --model /model/Qwen3-Next-80B-A3B-Thinking-AWQ-4bit --tensor-parallel-size 4 --dtype float16 --port 8001 --host 0.0.0.0 --trust-remote-code --disable-cuda-graph --context-length 2768 --mem-fraction-static 0.8 命令用的这个，现在我其实需要的是一个4bit量化的这个模型，不知道跟选择的这个量化模型权重的量化方式不支持有关系没？请问你这边知道有啥方式可以确认官方提供的这个教程只支持哪些量化方式吗？