DTK工具包占用的基础空间+模型体积+KV Cache体积 (一般是KV Cache长度 x 每数字占的比特大小) < 6 x 64GB = 384GB 即可
0
2
0
0
标题
2025-06-09 16:11:36
54
【求教】6张K100+512G内存+12T存储能部署多大的模型参数
全部评论（2）
只看楼主
东
2025/6/10
Z
六张卡FP32精度下估计能部署96B的模型，每张卡内存64G，理论上模型只要能放的下就可以推，不过需要注意模型的注意力头数能否被卡数整除
2025/6/9
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据