4.11下午进行了重启,可以正常docker compose启动dap服务,已在4.11上验证DeepSeek-R1-Distill-Qwen-14B模型vllm+dap部署的服务,可正常推理使用且性能良好。
5.2节点vllm0.6.2部署DeepSeek-R1-Distill-Qwen-7B模型,服务可正常启动,如下:

同时在5.2上部署DAP服务,并把ds7b模型添加到DAP中,如下:

dap+vllm推理使用时报错do request failed: Post "http://xxx dial tcp 0.0.0.0:8088: connect: connection refused


暂无数据