vllm部署的时候代码中有个stop_ids, 你使用qwen的stop_ids覆盖vllm的stop_ids即可解决该问题
0
0
0
1
das1.1 dtk24.04.1 镜像使用vLLM 在Z100L上部署Qwen系列模型乱码
2024-06-18 11:03:50
186
使用20240614发布的镜像包：image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu20.04-dtk24.04.1-py3.10
部署 Qwen-72B-Chat，Qwen2-72B-Instruct，可启动，但对话回答乱码，使用image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.3.3-dtk24.04-zk-centos7.6-py310-v2 发生core dumped
全部评论（3）
只看楼主
X
2024/6/19
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据