光合开发者社区-论坛

Qwen

提问帖

有回复

新人贴

需要部署Qwen3-32B-AWQ和bge-large-zh-v1.5模型，对应适配ubuntu22.04-dtk26.04的镜像在哪可以获取？

2026-04-20 14:44:24

148

需要部署Qwen3-32B-AWQ和bge-large-zh-v1.5模型，对应适配ubuntu22.04-dtk26.04的镜像分别在哪可以获取？

回复 @tony250

可以尝试使用docker pull harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk26.04-0130-py3.10-20260202 镜像，部署若有问题可在此反馈
启动指令参考：
v1（推荐）:

VLLM_USE_V1=1 vllm serve path/to/model --trust-remote-code --dtype float16 -tp 4/8 --max-model-len 32768 --gpu-memory-utilization 0.9 --compilation-config '{"full_cuda_graph": true}' -q awq

v0:

VLLM_USE_V1=0 vllm serve path/to/model --trust-remote-code --dtype float16 -tp 4/8 --max-model-len 32768 --gpu-memory-utilization 0.9 -q awq