1、使用docker命令拉景象： 执行命令：docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.7.2-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250327 执行：docker images 找到对应下载的镜像ID vllm0.7.2-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250327 42295ada4800 我下载的images id为42295ada4800 2、部署bge-m3向量分词模型 1)执行 docker run -it --shm-size 16g --network=host --name bge-m3 --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /opt/hyhal/:/opt/hyhal/:ro -v /data1/:/workspace/ 42295ada4800 bash 2)进入docker对应的镜像bge-m3中 通过modelscope下载向量分词模型 https://modelscope.cn/models/BAAI/bge-m3/files 3)安装modelscope 执行pip install modelscope 4)通过modelscope下载bge-m3 modelscope download --model BAAI/bge-m3 5)将下载好的模型拷贝到/workspace/models/bge-m3/ 目录下 6)执行启动模型命令： HIP_VISIBLE_DEVICES=0 python3 -m vllm.entrypoints.openai.api_server --model /workspace/models/bge-m3/ --dtype float16 --max-model-len 2048 --port 8003 --served-model-name bgem3 --task embedding --tensor-parallel-size 1 > vllm_bgem3.log 2>&1 & 7)查看是否安装成功，查看运行日志： tail -200f vllm_bgem3.log 3、部署bge-reranker 向量分词模型 1)执行 docker run -it --shm-size 16g --network=host --name bge-reranker --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root -v /opt/hyhal/:/opt/hyhal/:ro -v /data1/:/workspace/ 42295ada4800 bash 2)进入docker对应的镜像bge-reranker 中 通过modelscope下载向量重排模型 https://modelscope.cn/models/BAAI/bge-reranker-v2-m3 3)安装modelscope 执行pip install modelscope 4)通过modelscope下载bge-reranker-v2-m3 modelscope download --model BAAI/bge-reranker-v2-m3 5)将下载好的模型拷贝到/workspace/models/bge-reranker-v2-m3/ 目录下 6)执行启动模型命令： HIP_VISIBLE_DEVICES=0 python3 -m vllm.entrypoints.openai.api_server --model /workspace/models/bge-reranker-v2-m3/ --dtype float16 --max-model-len 2048 --port 8002 --served-model-name bge-reranker --task embedding --tensor-parallel-size 1 > vllm_bge-reranker.log 2>&1 & 7)查看是否安装成功，查看运行日志： tail -200f vllm_bge-reranker.log