DeepSeek-R1_ollama

部署视频见学习路径内页 – 光合开发者社区 ollama部署deepseek

资源说明

该项目包含多个模型，所需的资源8卡*64G。硬件资源为K100-AI.

获取项目代码

git clone -b 0.5.7 http://developer.sourcefind.cn/codes/OpenDAS/ollama.git

环境准备

1、获取docker镜像

docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-py3.10-dtk24.04.3-ubuntu20.04

2、创建并运行docker容器

docker run --shm-size 500g --network=host --name=Janus_Pro --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v <获取的项目代码地址>:/home/ -v /opt/hyhal:/opt/hyhal:ro -it <上一步获取的docker镜像ID> bash

注意: 可以使用                docker images  获取相应的镜像ID。

3、安装环境依赖

cd ollama

*编译
wget https://go.dev/dl/go1.23.4.linux-amd64.tar.gz
tar -C /usr/local -xzf go1.23.4.linux-amd64.tar.gz
export PATH=$PATH:/usr/local/go/bin

*修改go下载源，提升速度（按需设置）
go env -w GOPROXY=https://goproxy.cn,direct

*运行编译
export LIBRARY_PATH=/opt/dtk/lib:$LIBRARY_PATH
make -j 32
go build .

运行

启用服务端

rocminfo |grep gfx #查询当前机器的gfx参数，确定设备型号 
export HSA_OVERRIDE_GFX_VERSION=设备型号（使用上一行命令的输出结果进行声明，通常来说Z100L gfx906对应9.0.6；K100 gfx926对应9.2.6；K100AI gfx928对应9.2.8，具体设备型号以当前机器的rocminfo | grep gfx的结果为准）
export ROCR_VISIBLE_DEVICES=所有设备号（0,1,2,3,4,5,6,...）/选择设备号
./ollama serve

启用chat端

注意：新建终端，进入容器

cd  ollama
./ollama run deepseek-r1:671b

运行效果