1
2
0
1
orion-14b-chat 模型推理乱码
2024-05-15 12:37:08
145
部署环境： 本地conda安装，dtk 24.04 ,编译器 mpi ：compiler/devtoolset/7.3.1 mpi/hpcx/2.11.0-gcc-7.3.1
安装的移植包：
torch 2.1.0+git00661e0.abi0.dtk2404
paddlepaddle-rocm 2.5.2
flash-attn 2.0.4+82379d7.abi0.dtk2404.torch2.1
推理过程中出现部分乱码情况，一般是什么原因呀，怎么分析解决？
使用源码：https://huggingface.co/OrionStarAI/Orion-14B-Chat
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据
这个模型我们暂时还未验证，待验证后会上传到modelzoo。
看到您用的是paddle+fa，请问推理框架用的是paddle吗？我看到orion模型官方推荐的是vllm
初期的排查建议您优先提升数据精度至FP32看看是否任然存在乱码问题。