是全参微调吗?
我这边4张K100_AI显卡,
操作系统为银河麒麟V10 SP3版本,
使用了光源中的image.sourcefind.cn:5000/dcu/admin/base/jupyterlab-llamafactory:pytorch2.3.0-py3.10-dtk24.04.3-model这个docker镜像,使用了
cd /root/LLaMA-Factory/
USE_MODELSCOPE_HUB=1 llamafactory-cli webuiy运行llamafactory,
用该llamafactory对DeepSeek-R1-Distill-Llama-70B进行微调训练,但是在加载模型阶段,加载到47%的时候,就会报oom。通过watch -n 1 hy-smi监控显卡使用情况可以看到,4张显卡内存同步飙升,在加载到47%的时候,内存使用率100%,然后宕掉。
请问是否有遇到类似的情况。

暂无数据