该版本仅为尝鲜版本，完整版本可以参考DAP 基础部署流程 进行部署

tips:0217更新，增加了修改temperature参数功能，解决了稳定性的问题

部署视频见：https://developer.sourcefind.cn/programneiye?post_id=7862 webui+vllm可视化交互

1 部署好大模型服务，例如使用vllm启动的DeepSeek-R1-Distill-Qwen-7B模型服务

可以参考https://www.sourcefind.cn/#/model-zoo/1885899210378838017中的内容进行部署

例如使用如下指令启动vllm的serve服务

python -m vllm.entrypoints.openai.api_server --model /models/deepseek-r1/DeepSeek-R1-Distill-Qwen-7B   --served-model-name ds --dtype float16  --enforce-eager  --trust-remote-code -tp 2 --port 3333

2 部署webUI

请下载如下文件并进行部署，load镜像即可使用：

通过网盘分享的文件：ichat.zip

链接: https://pan.baidu.com/s/17oapm35lxpri8ToJZR8Cig 提取码: efyf

docker load -i  ichat.tar

之后修改docker-compose.yml文件中的LLM_DEFAULT_MODEL和LLM_DEFAULT_MODEL_URL两个内容，注意LLM_DEFAULT_MODEL需要和启动serve中的model保持一致（若启动使用的路径形式则文件中也使用路径形式），LLM_DEFAULT_MODEL_URL需要和serve设置的ip保持一致（通常为localhost，建议直接使用当前节点ip）

之后启动webui

 docker-compose up -d

注：若openwebUI容器关闭或者修改，需要删除当前路径下的test-data文件夹，并重新执行docker-compose

3 使用web服务

在web端输入设置好的ip进行交互即可

4 部署实例

部署有以下步骤：

1. 开启vllm的openai服务
2. 按本文档第一部分部署openwebui服务
3. 本地访问

4.1 开启vllm的openai服务

• 构建容器

docker run -it ....

• 开启openai服务（端口自行设置）

python -m vllm.entrypoints.openai.api_server --model /public/opendas/DL_DATA/llm-models/deepseek-r1/DeepSeek-R1-Distill-Qwen-7B   --served-model-name ds --dtype float16  --enforce-eager  --trust-remote-code -tp 2 --port 9000

4.2 部署webui服务

按照本文档第一部分部署即可。

部署前可以netstat -tuln看下端口是否有占用

需要注意docker-compose.yml文件中需要修改的内容： - LLM_DEFAULT_MODEL 和- LLM_DEFAULT_MODEL_URL(http：//本地ip :端口 )

参考如下：

services:
  test-ichat:
    container_name: chl_test-ichat # 容器名自行修改
    image: 10.2.106.54:8080/das-dev/dasapp-admin:v0.1-103
    restart: always
    user: root
    ports:
      - "9527:9999"
    networks:
      - test
    environment:
      - TZ=Asia/Shanghai
      - ENV_MODE=production
      - DB_DIR_TYPE=sqlite
      - DB_OPEN_LOG=1
      - BASE_DIR=/home/dasapp-admin
      - FRONT_WEB_ROOT=/web/public/ichat
      - AUTH_ANONYMOUS_LOGON=enable
      - AUTH_PERMISSION_FEATURE=disable
      - ENABLE_LIMIT_DEFAULT_LOGIN=disable
      - LLM_DEFAULT_MODEL_TYPE=OpenAI
      - LLM_DEFAULT_MODEL_LABEL=智能助手
      - LLM_DEFAULT_MODEL=ds
      - LLM_DEFAULT_MODEL_URL=http://10.16.4.11:9000   #根据本地ip或映射的ip地址正确设置
      - LLM_DEFAULT_MODEL_KEY=xxxxxxxxxxxxxxxxxxxxxxxx
    volumes:
      - ./test-data/ichat/log:/var/log/dasapp-admin/
networks:
  test:

4.3 本地访问

访问docker-compose.yml 中test-ichat开放的端口即可

10.16.4.11:9527（具体地址根据当前使用机器的ip变化而变化）