部署视频见学习路径内页 – 光合开发者社区 deepseek-janus-pro部署
该项目包含多个模型,所需的资源从4GB至128GB.硬件资源为K100-AI.
git clone http://developer.sourcefind.cn/codes/modelzoo/deepseek-janus-pro_pytorch.git
1、获取docker镜像
docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-ubuntu22.04-dtk24.04.3-py3.10
2、创建并运行docker容器
docker run --shm-size 500g --network=host --name=Janus_Pro --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v <获取的项目代码地址>:/home/ -v /opt/hyhal:/opt/hyhal:ro -it <上一步获取的docker镜像ID> bash
注意: 可以使用 docker images 获取相应的镜像ID。
3、安装环境依赖
cd ./code_path/
pip install -r requirements.txt
这里仅提供部分模型下载方式,更多请参考 https://developer.sourcefind.cn/codes/modelzoo/deepseek-janus-pro_pytorch 预训练权重部分。
从SCNet下载
git lfs install
git clone http://113.200.138.88:18080/aimodels/deepseek-ai/Janus-Pro-7B.git
从huggingface下载
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download deepseek-ai/Janus-Pro-7B --local-dir deepseek-ai/Janus-Pro-7B
# 图片问答
python inference.py
# 文生图
python generation_inference.py
图片问答

文生图


暂无数据
请问这个能做企业级部署吗?供c端客户使用,就像vllm部署qwen大模型那样,我看咱们的vllm版本不支持这个模型