4
1
DeepSeek
请教一下模型管理工具问题
2025-04-03 10:06:14
100

目前部署成功了 DAP ,可以通过webui实现网页端的访问体验。但是DAP界面较为简单,除了DAP以外,还有别的模型管理工具能对接本地部署的模型吗?最好能实现工作流编排等功能。

还有一个问题就是目前服务器标配2颗海光G3-7390(32核心 2.7GHZ主频);16*32G 内存,配置4块海光DCU K100 AI (64G);请教一下就这样的配置跑DeepSeek-70B太慢,回答一个问题基本要1-2分钟,查询4块 DCU占用率平常不回答问题也在80%以上,有没有啥办法优化?目前跑32B没啥问题

全部评论(4)
只看楼主
东
东风
2楼
直接部署原版的open-webui即可
2025/4/5
Z
zhaomy
1楼
70B输出多少tokens/s,可以统计下吗,我们看看跟内部数据能不能对的上
2025/4/3
网
网友ee3aAl
回复 @zhaomy
请教一下,如何计算tokens/s
2025/4/5
Z
zhaomy
回复 @zhaomy
应该是用的vllm部署吧,直接看下vllm服务端日志就行
2025/4/7
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据