大家遇到连接不上的问题,可以试试将LLM_DEFAULT_MODEL_URL=https://api.deepseek.com 中的https改成http,//后面还是ip地址+端口号。
麒麟V10系统
DCU: Z100L
根据 https://sourcefind.cn/#/image/cpu/custom?activeName=overview 使用docker-compose安装DAP,修改了其中的
这两项与启动vllm时中的参数保持一致
python -m vllm.entrypoints.openai.api_server
--model /home/model_path/DeepSeek-R1-Distill-Qwen-7B/
--served-model-name ds
--dtype float16
--enforce-eager
--trust-remote-code -tp 2
--port 4321
启动后如下:

聊天界面无法连接,连接服务器使用10.xxxx:9901,结果如下:

模型状态为异常,模型是在魔搭社区下载的DeepSeek-R1-Distill-Qwen-7B:

请教下大佬,为什么界面连接失败,这个模型状态异常是什么原因呢?

暂无数据