- 检查点(checkpointing)可以把微调进度保存下来,这样可以中途暂停,随后继续训练。
- 首先需要在
Trainer
的参数里添加save_strategy
和save_steps
。
trainer = SFTTrainer(....args = TrainingArguments(....output_dir = "outputs",save_strategy = "steps",save_steps = 50,),
)
- 然后在训练时这样写:
trainer_stats = trainer.train(resume_from_checkpoint = True)
这会从最新的检查点开始继续训练。