7
运行时
jupyterlab-llamafactory 微调时候报内核错误KERNEL VMFault
2025-11-14 11:40:00
243
在K100上同样的方式跑,可以正常跑完,但是在BW1000上训练一段时间会报错如下图 微调方法为sft 参数 更新方式为 full 数据集为中文数据集 模型为DeepSeek-R1-Distill-Qwen-1.5B ![attachmentId-image.png](/api-forum/file/Redirect?path=forum/zhangjc/1763091488306/image.png) ![attachmentId-image.png](/api-forum/file/Redirect?path=forum/zhangjc/1763091537494/image.png) ![attachmentId-f5c921f500563d62fd989d7e55c50a8b.png](/api-forum/file/Redirect?path=forum/zhangjc/1763103733578/f5c921f500563d62fd989d7e55c50a8b.png)
全部评论(8)
只看楼主
L
litzh
6楼
该问题已在https://forum.sourcefind.cn/thread/1081116d-ca9d-11f0-a652-0242ac150003提供解决方案
2025/12/4
网
网友00xDzC
楼主
5楼
经过多次的测试,目前已经得到的结论有: 这个报错目前的特征有: 参数配置了finetuning_type: full 2 .某些数据集会引起报错
2025/11/26
网
网友00xDzC
楼主
4楼
目前问题依然存在,同样的配置,lora微调不会报错,full 的参数更新方式会出现内核错误,报错的概率较高,也出现过训练正常的情况
2025/11/24
W
wangs
3楼
测试的时候, 避免同时在同一样张卡上执行多个任务
2025/11/21
网
网友00xDzC
回复 @wangs
没有在一张卡执行多个任务,而是,是其他卡的任务结束后,单独运行微调的任务,成功了
2025/11/24
网
网友00xDzC
楼主
2楼
又有一个神奇的现象,当环境上其他卡上的任务结束后,这些失败的任务自己重试后,又成功了
2025/11/14
网
网友00xDzC
回复 @网友00xDzC
但是这是什么原因,一旦其他卡有任务在运行,会导致别的卡运行失败?
2025/11/14
网
网友00xDzC
楼主
1楼
是否需要我提供数据集alpaca-心理学对话Psychology-10K-中文-标准.json
2025/11/14
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据