K100-AI 可以使用 Ubuntu 22.04、DTK 26.04、Python 3.10 和 DCU PyTorch 作为基础环境，并从官方 FP16 基础模型开始量化或微调。可以参考：https://gitcode.com/alain999/dcu-inference-cookbook/blob/main/docs/model-deployment/vllm/deepseek-r1.md
0
2
0
0
K100-AI 量化
2026-08-13 16:13:12
257
小白提问：
请问用K100-AI做模型量化的话有没有什么确认可操作的环境配置呢？
如果我想在docker中微调量化模型，比如DeepSeek-R1-Distill-Qwen-14B-GPTQ-Int4的话，docker中应该怎样配置环境呢？
谢谢解答。
全部评论（4）
只看楼主
S
8/15
热
可以参考一下这个仓库：https://developer.sourcefind.cn/codes/modelzoo/deepseek-r1-distill_vllm
8/13
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据