1
模型应用
提问帖
有回复
K100-AI模型部署问题
2026-03-04 09:02:12
182
请问有没有K100-AI针对一下模型和程序的部署的现成的镜像或者方法。dify:1.6.0;bisheng:2.0.3;ragflow:0.16.0;ollama 下面是模型:qwen3-30b-a3b-instruct qwen3-4B-Instruct qwen3-vl:8b-instruct bge-m3 bge-reranker-v2-m3 如果有的话 请帮忙提供下
全部评论(1)
只看楼主
Y
yangzhong
1楼
您提出的这几个目前在已发布的镜像中都没包含,您可以使用发布的vllm0.9.2及以上版本的镜像适配您提到的这几个,ollama可以参考https://developer.sourcefind.cn/codes/OpenDAS/ollama/-/tree/0.11.2   其他几个参考官方适配流程。
3/4
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据