您好,请问视频中创建智能体时用到的json文件在哪里下载,
可以参考https://www.sourcefind.cn/#/model-zoo/1885899210378838017中的内容进行部署
例如使用如下指令启动vllm的serve服务
vllm serve /models/DeepSeek-R1-Distill-Qwen-7B/ --served-model-name ds7b --dtype float16 --trust-remote-code -tp 1 --port 8000
链接下包含了2.33.1版本的docker-compose,如果需要可以离线安装(链接: https://pan.baidu.com/s/1OvWS3qmI_sHrQe6D9UJyvg?pwd=8kj5 提取码: 8kj5 )
解压离线包,加载基础镜像
# 解压离线包,至docker目录下
docker load -i docker/es.tar
docker load -i docker/ichat.tar
docker load -i docker/pg16.tar
docker load -i docker/minio.tar
docker-compose启动dap服务
cd ichat-plus/
docker-compose up -d
# 上述命令启动后,至内网节点访问服务器的9901端口即可(ex:http://10.16.5.10:9901)

管理员账号密码为:admin/111111 ; dap端口默认为9901
如果有替换端口,修改管理员账号密码等需求,可以按需在docker-compose.yaml中自行修改

1.模型管理中默认有"智能助手"的模型服务,删除即
2."服务地址"为启动vllm serve时,终端输出的:http:// ip : 端口
3."模型名称"为vllm serve启动时,--served-model-name 后的参数
4."首页顺序"为模型在手册导航栏的顺序,不能为0,多个模型不能重复
5.可以在该页面创建多个模型

http://10.16.5.10:9901/#/home (http://10.16.5.10:9901/admin页面下的"智能问答"也可)


暂无数据