该乱码问题可以通过在运行指令中添加参数“--dtype float16”解决。
使用镜像vllm-0.3.3+das1.1.gitdf6349c.abi1.dtk2404.torch2.1.0-cp38-cp38-manylinux_2_31_x86_64.whl运行指令为:python -m vllm.entrypoints.openai.api_server --model /app/LLaMA-Factory-main/saves/magicoder_7B_zh --served-model-name Magicoder-7B --gpu-memory-utilization 0.5 --trust-remote-code --dtype auto -tp 4
此模型底层是Deepseek模型,DeepSeek模型底层是LLama模型,尝试了glm4模型和该模型都是输出乱码

不使用vllm情况下输出正常:


暂无数据