报错显示您使用了量化后的模型做微调,这种方式和ds不太兼容,你可以专注下llamafactory官方是否有相关issue
根据光源文档:光源 Find source, find chance. (sourcefind.cn)的步骤部署执行;
执行到训练这部
使用LLaMA-Factory框架微调
#注意:根据自己的模型切换.yaml文件中的模型位置并调整其他参数
cd /path/your_code_data/
cd LLaMA-Factory
export FORCE_TORCHRUN=1
HIP_VISIBLE_DEVICES=0,1,2,3 llamafactory-cli train examples/train_lora/qwen2_lora_sft_ds3.yaml
就产生截图的报错信息:

暂无数据