6
DeepSeek
标题
2025-06-21 20:39:19
84
8张K100_AI ,是否可以跑DeepSeek-R1-Distill-Llama-70B的量化模型呢,如果可以,需要使用哪个docker镜像以及使用哪种方式量化的版本?
全部评论(9)
只看楼主
P
panhb
1楼
docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.5-ubuntu22.04-dtk25.04.1-rc4-das1.6-py3.10-20250620-fixpy可以用最新版镜像,awq,gptq量化均支持
2025/6/23
网
网友qL6E9l
回复 @panhb

我这边使用的是image.sourcefind.cn:5000/dcu/admin/base/custom: vllm0.8.5-ubuntu22.04-dtk25.04.1-rc4-das1.6-py3.10-20250619-fixpy这个docker镜像,创建容器后在容器中也可以正确识别显卡,启动命令为:vllm serve /data/models/DeepSeek-R1-Distill-Llama-70B-GGUF/DeepSeek-R1-Distill-Llama-70B-Q4_K_M.gguf \

--served-model-name ds70 \

--port 6667 \

--dtype float16 \

--trust-remote-code \

--max-model-len 32768 \

--tensor-parallel-size 8 \

--enforce-eager

在加载DeepSeek-R1-Distill-Llama-70B-Q4_K_M.gguf报错如图,麻烦老师帮忙看一下是需要其他什么配置吗?
2025/6/23
潜水1号
回复 @panhb
GGUF还需要指定一下tokenizer 您搜索一下就能查到 加上去应该就行了 https://vllm.hyper.ai/docs/features/quantization/gguf/
2025/6/23
网
网友qL6E9l
回复 @panhb
指定了tokenizer也报同样的错:liulei:emoji
2025/6/23
全部8条回复
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据