1
2
框架组件
在Z100L上部署微调大模型无法正常推理
2025-09-25 17:31:09
114
使用VLLM部署使用ms-swift框架Lora微调后的Qwen2.5:7b模型（使用ms-swift的merge-lora得到的权重）的推理结果是乱码，使用transformers推理能得到正常的输出，这个要怎么处理啊
全部评论（3）
只看楼主
C
changhl
1楼
您好：微调前是否可以正常推理？可以先看下loss曲线，是否有过拟合等问题；以及尝试修改精度。 如果无法解决，可以提供下您这边的训练脚本和数据集，我们内部看下能否复现。
2025/9/25
_
_mdrhs4flc5za
回复 @changhl
微调前是可以正常推理的，微调后使用RTX3090上的VLLM也是可以正常推理的，在dcu上部署推理就出现了推理乱码的情况，这个是不是我在dcu上部署的权重的问题啊？
2025/9/25
C
changhl
回复 @_mdrhs4flc5za
您好：根据描述，dcu和nv上使用同一个模型文件，这类精度问题需要您这边提供下模型文件，我们内部复现定位下。
2025/9/26
没有更多内容了
--
楼主
Level.4
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据