光合开发者社区-论坛

Qwen

标题

2025-07-16 14:49:29

121

使用VLLM部署Qwen3-32B模型，回答重复回复，怎么解决
镜像 image.sourcefind.cn:5000/dcu/admin/base/vllm:0.8.5-ubuntu22.04-dtk25.04.1-rc5-das1.6-py3.10-20250711

docker run -itd --name vllm --network=host --ipc=host --shm-size=64G --device=/dev/kfd --device=/dev/mkfd --device=/dev/dri -v /data/models：/workspace/models -v /opt/hyhal：/opt/hyhal --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined e31a6bc6fa3c /bin/bash

HIP_VISIBLE_DEVICES=2,3 python -m vllm.entrypoints.openai.api_server --model /workspace/mo
dels/Qwen3-32B --served-model-name qwen3 --enforce-eager --dtype float16 --trust-remote-code -tp 2 --gpu-memory-utilization 0.9 --max-model-len 32678 --host 0.0.0.0 --port 8001 > qwen3-32b.log 2>&1 & &

老师，您好：辛苦使用下述命令测试一下呢，内部未复现出重复回答的现象，如果按下述流程执行后，仍有重复回答的现象，麻烦您补充一下输入哈。

step1：容器构建

docker run -it --network=host --ipc=host --name=ch_shequ --privileged --hostname localhost --shm-size=16G --device=/dev/kfd --device=/dev/mkfd --device=/dev/dri -v /opt/hyhal:/opt/hyhal:ro -v 物理机模型目录:容器内模型目录 --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined image.sourcefind.cn:5000/dcu/admin/base/vllm:0.8.5-ubuntu22.04-dtk25.04.1-rc5-das1.6-py3.10-20250711 /bin/bash

step2：vllm部署模型服务

export HIP_VISIBLE_DEVICES=0,1

vllm serve /models/qwen3/Qwen3-32B --trust-remote-code --dtype float16 -tp 2