使用这个镜像shdocker pull image.sourcefind.cn:5000/dcu/admin/base/vllm:0.8.5-ubuntu22.04-dtk25.04.1-rc5-das1.6-py3.10-20250711
您好:
vllm 启动模型服务时,需要添加-tp 参数。vllm部署案例也可以参考https://sourcefind.cn/#/model-zoo/list
您好:
vllm 启动模型服务时,需要添加-tp 参数。vllm部署案例也可以参考https://sourcefind.cn/#/model-zoo/list
vllm serve 模型路径 -tp 1