DeepSeek-R1-Distill_vllm

资源说明

该项目包含多个模型，所需的资源从4GB至128GB.硬件资源为K100-AI.

获取项目代码

git clone http://developer.sourcefind.cn/codes/modelzoo/deepseek-r1-distill_vllm.git

环境准备

1、获取docker镜像

docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-ubuntu22.04-dtk24.04.3-py3.10

2、创建并运行docker容器

docker run --shm-size 500g --network=host --name=dpskr1 --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v <获取的项目代码地址>:/home/ -v /opt/hyhal:/opt/hyhal:ro -it <上一步获取的docker镜像ID> bash

注意: 可以使用      docker images  获取相应的镜像ID。

3、依赖项安装

pip install https://download.sourcefind.cn:65024/directlink/4/lmslim/DAS1.3/lmslim-0.1.2+das.dtk24043-cp310-cp310-manylinux_2_28_x86_64.whl

pip install https://download.sourcefind.cn:65024/directlink/4/vllm/DAS1.3/vllm-0.6.2+das.opt1.dtk24043-cp310-cp310-manylinux_2_28_x86_64.whl

模型准备

这里仅提供部分模型下载方式，更多请参考 https://developer.sourcefind.cn/codes/modelzoo/deepseek-r1-distill_vllm  预训练权重部分。

从SCNet下载

git clone http://113.200.138.88:18080/aimodels/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B.git

git clone http://113.200.138.88:18080/aimodels/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B

从huggingface下载

export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --local-dir DeepSeek-R1-Distill-Qwen-1.5B

export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-14B --local-dir DeepSeek-R1-Distill-Qwen-14B

运行

启动vllm服务

vllm serve <已下载的模型路径> --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

运行效果