Qwen
DAP 安装后模型异常,界面无法连接
2025-04-09 17:18:57
108

麒麟V10系统
DCU: Z100L

根据 https://sourcefind.cn/#/image/cpu/custom?activeName=overview 使用docker-compose安装DAP,修改了其中的

  • LLM_DEFAULT_MODEL=ds
  • LLM_DEFAULT_MODEL_URL=https://10.51.xxx:4321

这两项与启动vllm时中的参数保持一致
python -m vllm.entrypoints.openai.api_server
--model /home/model_path/DeepSeek-R1-Distill-Qwen-7B/
--served-model-name ds
--dtype float16
--enforce-eager
--trust-remote-code -tp 2
--port 4321

启动后如下:

attachmentId-image.png

聊天界面无法连接,连接服务器使用10.xxxx:9901,结果如下:

attachmentId-image.png

模型状态为异常,模型是在魔搭社区下载的DeepSeek-R1-Distill-Qwen-7B:

attachmentId-image.png

请教下大佬,为什么界面连接失败,这个模型状态异常是什么原因呢?

全部评论(5)
只看楼主
网
网友5Yvckw
楼主
2楼
大家遇到连接不上的问题,可以试试将LLM_DEFAULT_MODEL_URL=https://api.deepseek.com 中的https改成http,//后面还是ip地址+端口号。
2025/4/10
P
panhb
1楼
Z100L的机器需要使用该镜像进行vllm推理docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.5.0-dtk24.04.1-ubuntu20.04-py310-20250225,麻烦检查下镜像吧
2025/4/9
网
网友5Yvckw
回复 @panhb
镜像我就是用的你说的20250225这个。下面第一张图片最后一个容器就是用这个镜像启动的vllm服务,镜像id是b119375fca22,第二张图片就是用的你说的这个镜像,id是也b119375fca22。拉取了20250225这个镜像后,启动vllm也是正常的。但就是不知道为什么出现上面的情况
2025/4/10
P
panhb
回复 @panhb
使用v1/chat/completions能正常推理吗?不能的话去掉chat接口试下
2025/4/10
网
网友5Yvckw
回复 @panhb
使用v1/chat/completions或者v1/completions还是无法连接,我私信您了能看下吗
2025/4/10
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据