1
DAP讨论区
标题
2025-03-26 10:05:06
235

5.2节点vllm0.6.2部署DeepSeek-R1-Distill-Qwen-7B模型,服务可正常启动,如下:

attachmentId-image.png
同时在5.2上部署DAP服务,并把ds7b模型添加到DAP中,如下:

attachmentId-image.png

dap+vllm推理使用时报错do request failed: Post "http://xxx dial tcp 0.0.0.0:8088: connect: connection refused

attachmentId-image.png

全部评论(5)
只看楼主
Y
yangzhong
楼主
2楼
4.11下午进行了重启,可以正常docker compose启动dap服务,已在4.11上验证DeepSeek-R1-Distill-Qwen-14B模型vllm+dap部署的服务,可正常推理使用且性能良好。
2025/3/28
H
huml
1楼
模型状态异常,点击测试能通过吗?
2025/3/27
G
ghdevadmin
回复 @huml
@ANYA
2025/3/28
Y
yangzhong
回复 @huml
应是DeepSeek-R1-Distill-Qwen-7B模型的问题,我在本地通过curl流测试的时候提示找不到这个模型,模型路径是正确的。换成DeepSeek-R1-Distill-Qwen-14B模型,curl流能正常推理测试
2025/3/28
Y
yangzhong
回复 @huml

换成14B模型进行dap服务验证的时候,docker compose启动dap服务报错如下图1,查资料见图2说是防火墙做了策略,需要重启docker。由于目前节点用的人较多,运维暂没重启docker,等重启后进行验证

2025/3/28
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据