5
Qwen
可否提供非容器方式的ollama+webui部署教程
2025-02-25 19:42:28
221

目前在开发者社区能够找到的webui部署教程是基于docker的,并且是基于vllm的,但是很多情况下用户没有管理员权限,无法运行docker守护进程,并且运行的是ollama进行的简易部署。能否提供能在容器环境中使用的ollama+webui手动部署方法呢?我自行尝试过官方的open-webui+ollama部署,在open-webui中聊天时,模型对用户第一句的回复速度正常,但是对用户第二句的回复速度非常缓慢,即调用ollama的/api/chat速度时间很长,长达几分钟,怀疑是open-webui内部有些部件对dcu支持不佳,因此我选择了用webui进行部署,但是开发者社区没有webui的详细教程。。。。。。

全部评论(3)
只看楼主
AuroraUSTC
1楼

可以看一下open webui的Admin Panel ->Interface。这里面的各种选项会严重影响ollama部署的模型的性能。

比如Title generation,它的意思就是自动给这次的对话产生标题。具体流程大概是,open webui会在用户和模型进行完第一次对话后,把对话的内容发送给最上面设置的Task Model,让Task Model来给这次对话的内容生成一个标题。如果Task Model设置的也是ollama中的某个模型,那么像ollama这种并发请求处理得不怎么好的,表现上就是第二句话的回复非常非常慢,因为需要等待Task Model运行完毕。

个人建议可以先把Interface页面所有的generation全都关闭。
2025/2/26
东
东风
回复 @AuroraUSTC
但是我用N卡的速度就很正常,不知道你们有没有遇到过这种第二句回复时间很长的问题
2025/2/26
东
东风
回复 @AuroraUSTC
确实关闭了标题生成之后速度正常了,谢谢您
2025/2/26
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据