1
1
1
框架组件
标题
2025-02-06 11:19:45
135

deepseek 适配问题
想了解k100 对deepseek 72B和30B进行推理分别需要多少张卡可以支持
以及想了解k100 对deepseek 72B和30B进行训练分别需要多少张卡可以支持

全部评论（1）
只看楼主
H
hepj
1楼

推理时根据不同的模型版本（量化）以及优化策略（TP 并行 FA等）需要不同的显存

训练时也受训练框架、训练策略 超参数的影响。暂时无法给出一个准确的值，不过需要注意一点，由于K100暂时没有支持FA因此显存可能会更高一些，需要更多的卡才可以
2025/2/8
没有更多内容了
--
楼主
Level.4
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据