5
模型应用
提问帖
有回复
DeepSeek-OCR模型,下载完成后,该如何启动呀!
2026-01-08 07:55:47
154
推理卡使用的K100-AI,模型下载完成后,vllm启动有点异常,OCR的模型好像不是用vllm启动, 在海光的模型库里下载的docker镜像和模型,启动的相关python脚本里的修改内容有没有哪位大佬能分享一下。
关于Vllm 多卡并行问题
全部评论(2)
只看楼主
Z
zhufzh1
1楼
可以参考这里的部署方案 https://developer.sourcefind.cn/codes/modelzoo/deepseek-ocr_pytorch 注意对齐下镜像id和软件库版本
1/12
网
网友BWYLuV
回复 @zhufzh1
感谢老哥,dsocr的模型启动和语言模型不一样,使用脚本调度ok了
1/20
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据