光合开发者社区-论坛

DTK开发

qwen系列模型使用vllm推理，输出乱码

2024-08-09 11:40:31

162

镜像：image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-centos7.6-dtk24.04-py310
来源https://sourcefind.cn/#/image/dcu/pytorch?activeName=overview

显卡：Z100L
vllm配置：（系统自带0.33版本）

服务启动：（Qwen1.0系列、Qwen1.5系列、Qwen2系列都可以正常启动，这里用的是qwen2）

客户端调用：
问题：1+1=？
服务端响应：

客户端结果展示：

输出乱码，不管试Qwen系列的任何一个模型，都是这样的回答，请问该如何解决呢？（镜像使用的都是torch2.1的，torch1.x系列的安装vllm报错，未尝试）

回复 @panhuiwen

chat_completion: ChatCompletion(id='cmpl-a22e1aec03ce470c8323a6a0539d9aed', choices=[Choice(finish_reason='length', index=0, logprobs=None, message=ChatCompletionMessage(content='!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!', role='assistant', function_call=None, tool_calls=None))], created=1802875, model='qwen2-1.5b', object='chat.completion', system_fingerprint=None, usage=CompletionUsage(completion_tokens=512, prompt_tokens=23, total_tokens=535))

还是会出现乱码？你那边方便提供一下可以运行的镜像吗？百度网盘都可以，谢谢啦