1
1
DeepSeek
标题
2025-03-17 14:31:32
87

deepseek 32B量化版本报错,回复为!!!!,请问支持32B量化版本的deepseek.

全部评论(2)
只看楼主
R
renzhc
1楼
请问用的是什么环境呢?docker镜像,卡型号,vllm或dtk的版本这些信息贴一下吧
2025/3/17
网
网友co4Nje
回复 @renzhc
K100 VLLM 0.62镜像docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-py3.10-dtk24.04.3-ubuntu20.04-vllm0.6
2025/4/1
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据