1
运行时
jupyterlab-llamafactory FULL微调时候报内核错误KERNEL VMFault
2025-11-26 15:53:58
240
镜像:image.sourcefind.cn:5000/dcu/admin/base/jupyterlab-llamafactory:pytorch2.4.1-py3.10-dtk25.04.1-model 报错详情在这个帖子上:[光合开发者社区-论坛](https://forum.sourcefind.cn/thread/98d075ef-c10b-11f0-b077-0242ac150003)(👈点击查看 jupyterlab-llamafactory 微调时候报内核错误KERNEL VMFault) 复现方式: 在bw1000环境 ,用k8s 起一个pytorchjob, 如果想加速复现,可以起多个 数据集见附件 配置参数: ``` bf16: true cutoff_len: 1024 dataset: hh dataset_dir: /storage/main/users/wh1107/test-data ddp_timeout: 180000000 do_train: true enable_thinking: false eval_steps: 100 eval_strategy: 'no' finetuning_type: full gradient_accumulation_steps: 1 learning_rate: 0.0001 logging_steps: 10 lora_alpha: 16.0 lora_drop_out: 0.0 lora_target: all lr_scheduler_type: cosine max_samples: 1000 model_name_or_path: /model/Qwen2.5-0.5B-Instruct num_train_epochs: 2.0 output_dir: /storage/main/users/wh1107/train/output-sft/003/output overwrite_cache: true overwrite_output_dir: true packing: false per_device_eval_batch_size: 1 per_device_train_batch_size: 1 plot_loss: true preprocessing_num_workers: 16 report_to: tensorboard #save_strategy: 'no' #save_steps: 400 stage: sft template: qwen val_size: 0.1 warmup_ratio: 0.1 ```
全部评论(9)
只看楼主
Z
zhaomy
1楼
请问用的是那个版本的驱动 hy-smi --showdriverversion 帮忙看下吧
2025/11/28
网
网友00xDzC
回复 @zhaomy
版本信息如下图。经过代码debug,定位到了问题,full 微调时候,配置bf16: true,启用混合精度,在反写传播时候dcu的驱动进行了非法内存的调用
2025/12/1
Z
zhaomy
回复 @网友00xDzC
这个可以稳定复现吗,大概微调多久会报错
2025/12/1
网
网友00xDzC
回复 @zhaomy
这个数据集中有稳定复现的数据据条目,你把数据集的数据改成这条,然后多复制几条。 { "input": "我理解你现在的感受,受到伤害后感到愤怒和怨恨是很自然的反应。以下是一些建议,帮助你走出这种情绪:\n\n1. **承认并接受你的感受**:不要压抑你的情绪,允许自己感受到愤怒和怨恨。这是治愈过程的一部分。\n\n2. **表达你的感受**:可以通过写日记、与信任的朋友或家人交谈,或者通过艺术创作来表达你的情绪。\n\n3. **尝试理解对方**:虽然这很难,但试着从对方的角度看问题,理解他们为什么会做出伤害你的行为。这有助于你放下怨恨。\n\n4. **专注于自我成长**:将注意力转移到自己的成长和发展上,学习新技能、培养新爱好,或者设定新的目标。\n\n5. **练习宽恕**:宽恕并不意味着你要忘记或原谅对方的行为,而是为了让自己从负面情绪中解脱出来。宽恕是一个过程,需要时间。\n\n6. **寻求专业帮助**:如果你发现自己无法摆脱这些情绪,考虑寻求心理咨询师或治疗师的帮助。\n\n7. **照顾好自己**:确保你有足够的休息、健康的饮食和适量的运动,这些都有助于提升你的情绪和整体健康。\n\n8. **设定界限**:如果可能,与伤害你的人保持距离,设定健康的界限,避免再次受到伤害。\n\n记住,治愈是一个过程,需要时间和耐心。希望这些建议能帮助你逐步走出愤怒和怨恨,重新找到内心的平静。", "output": "以健康的方式处理和解决愤怒与怨恨的情绪是非常重要的。一种可能有所帮助的技术被称为宽恕疗法。这包括与治疗师合作,探索宽恕的好处,并制定一个宽恕伤害你的人的方案。此外,自我护理活动,如锻炼和与支持你的朋友和家人共度时光,也有助于改善情绪。", "instruction": "If you are a licensed psychologist, please provide this patient with a helpful response to their concern." }
2025/12/1
全部8条回复
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据