直接部署原版的open-webui即可
目前部署成功了 DAP ,可以通过webui实现网页端的访问体验。但是DAP界面较为简单,除了DAP以外,还有别的模型管理工具能对接本地部署的模型吗?最好能实现工作流编排等功能。
还有一个问题就是目前服务器标配2颗海光G3-7390(32核心 2.7GHZ主频);16*32G 内存,配置4块海光DCU K100 AI (64G);请教一下就这样的配置跑DeepSeek-70B太慢,回答一个问题基本要1-2分钟,查询4块 DCU占用率平常不回答问题也在80%以上,有没有啥办法优化?目前跑32B没啥问题

暂无数据