3
AI人工智能
使用das1.1下的VLLM包,模型输出乱码,不使用可正常输出
2024-07-01 11:09:12
188

使用镜像vllm-0.3.3+das1.1.gitdf6349c.abi1.dtk2404.torch2.1.0-cp38-cp38-manylinux_2_31_x86_64.whl运行指令为:python -m vllm.entrypoints.openai.api_server --model /app/LLaMA-Factory-main/saves/magicoder_7B_zh --served-model-name Magicoder-7B --gpu-memory-utilization 0.5 --trust-remote-code --dtype auto -tp 4
此模型底层是Deepseek模型,DeepSeek模型底层是LLama模型,尝试了glm4模型和该模型都是输出乱码

attachmentId-image.png

不使用vllm情况下输出正常:

attachmentId-image.png

全部评论(1)
只看楼主
网
网友lw8uNw
楼主
1楼
该乱码问题可以通过在运行指令中添加参数“--dtype float16”解决。
2024/7/2
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据