一、为啥训练到一半就崩了?你得知道checkpoint的用处
做深度学习的同学应该都遇过这种情况:前一天晚上让模型跑训练,睡前设置了定时,结果第二天起来发现终端被强制关闭,或者服务器被系统重启,又或者是显卡炸了,练了几天的心血全没了。就像你追一部更新到30集的剧,看到第25集突然停电,得重新从第1集开始看,那有多崩溃?而checkpoint就是训练的“剧集存档”,能帮你从上次中断的地方接着来。
1.1 什么是训练中断?checkpoint是啥
简单说,训练中断就是你跑模型的程序意外或人为停止,导致当前进度没保存。而checkpoint是PyTorch提供的一种“存档文件”,里面不仅存了模型的权重参数,还会存优化器的状态(比如Adam的动量、学习率)、当前训练到第几个epoch(轮次)、当前的损失值等信息。有了这些,重启训练的时候,就能完全回到上次停止的状态,不用再从头来。
1.2 没做好checkpoint的真实痛点
我之前练一个图像分类模型,总共有50个epoch,练到第30个的时候,服务器因为磁盘满被自动关机了。当时只存了最后一个epoch的模型,优化器状态没存,结果重新加载模型后,优化器的学习率回到了初始值,之前花了30个epoch调整的参数全白费,后面的训练不仅收敛慢,还震荡了好久,浪费了整整2天时间。这就是没做好checkpoint管理的代价。
二、PyTorch里checkpoint的正确打开方式
现在就用一个完整的示例,教你怎么写checkpoint的保存和加载代码,全程用PyTorch的基础库,不用其他工具,不同基础的同学都能看懂。
2.1 基础checkpoint保存与加载代码示例
首先,我们先写一个简单的CNN模型,然后加上训练循环里的checkpoint逻辑,代码带详细注释:
import torch
import torch.nn as nn
import torch.optim as optim
import os
# -------------------------- 模型定义 --------------------------
class SimpleCNN(nn.Module):
def __init__(self):
super().__init__()
self.conv1 = nn.Conv2d(3, 16, kernel_size=3, padding=1)
self.pool = nn.MaxPool2d(2, 2)
self.conv2 = nn.Conv2d(16, 32, kernel_size=3, padding=1)
self.fc1 = nn.Linear(32 * 8 * 8, 128)
self.fc2 = nn.Linear(128, 10)
def forward(self, x):
x = self.pool(torch.relu(self.conv1(x)))
x = self.pool(torch.relu(self.conv2(x)))
x = x.view(-1, 32 * 8 * 8)
x = torch.relu(self.fc1(x))
return self.fc2(x)
# -------------------------- 初始化核心组件 --------------------------
model = SimpleCNN()
optimizer = optim.Adam(model.parameters(), lr=0.001)
criterion = nn.CrossEntropyLoss()
start_epoch = 0 # 默认从第0轮开始训练
best_val_loss = float('inf') # 记录验证集最低损失,用于选最优模型
# -------------------------- 保存checkpoint的核心函数 --------------------------
def save_checkpoint(epoch, model, optimizer, val_loss, is_best=False):
# 打包所有需要恢复训练的关键状态,缺一不可
checkpoint_content = {
'epoch': epoch,
'model_state_dict': model.state_dict(),
'optimizer_state_dict': optimizer.state_dict(),
'current_val_loss': val_loss
}
# 先写临时文件,写完再重命名,避免写中途断电导致文件损坏
temp_path = 'temp_checkpoint.pt'
final_path = f'checkpoint_epoch_{epoch}.pt'
torch.save(checkpoint_content, temp_path)
os.replace(temp_path, final_path)
# 如果当前验证损失是历史最低,单独存最优模型
if is_best:
torch.save(checkpoint_content, 'best_val_model.pt')
# 可选:清理旧的checkpoint,只保留最近5个,避免占满磁盘
all_checkpoints = sorted([f for f in os.listdir('.') if f.startswith('checkpoint_epoch_')],
key=lambda x: int(x.split('_')[2].split('.')[0]))
if len(all_checkpoints) > 5:
for old_ckpt in all_checkpoints[:-5]:
os.remove(old_ckpt)
# -------------------------- 加载checkpoint的核心函数 --------------------------
def load_existing_checkpoint(model, optimizer):
# 查找当前目录下所有符合命名规则的checkpoint
checkpoint_files = [f for f in os.listdir('.') if f.startswith('checkpoint_epoch_')]
if not checkpoint_files:
print("未找到历史checkpoint,将从头开始训练")
return 0, float('inf')
# 找到最新的checkpoint(epoch数字最大的)
latest_ckpt = max(checkpoint_files, key=lambda x: int(x.split('_')[2].split('.')[0]))
ckpt_data = torch.load(latest_ckpt)
# 加载模型和优化器的状态,确保能完全恢复之前的进度
model.load_state_dict(ckpt_data['model_state_dict'])
optimizer.load_state_dict(ckpt_data['optimizer_state_dict'])
# 下一次训练要从当前epoch的下一轮开始
next_epoch = ckpt_data['epoch'] + 1
# 返回历史最低验证损失,用于判断是否是最优模型
past_best_loss = ckpt_data['current_val_loss']
print(f"成功加载checkpoint,从第{next_epoch}轮继续训练,历史最优损失{past_best_loss:.4f}")
return next_epoch, past_best_loss
# -------------------------- 训练逻辑示例 --------------------------
# 先尝试加载checkpoint,没有则从头开始
start_epoch, best_val_loss = load_existing_checkpoint(model, optimizer)
# 假设总训练轮次是200,实际需对应你的数据集配置
total_epochs = start_epoch + 200
for epoch in range(start_epoch, total_epochs):
# 这里省略数据加载、前向传播、反向传播、参数更新的核心训练步骤
# 示例中用随机数模拟本轮的验证损失,实际需计算真实值
current_val_loss = 0.45 - (epoch * 0.001) # 模拟损失逐步下降
# 每轮结束保存checkpoint,同时判断是否是最优模型
is_best = current_val_loss < best_val_loss
save_checkpoint(epoch, model, optimizer, current_val_loss, is_best)
# 更新最优损失
if is_best:
best_val_loss = current_val_loss
2.2 只存模型的致命错误
刚才的示例里我们特意存了优化器和epoch,要是只存模型的话会怎么样?比如把save_checkpoint里的字典改成只放model_state_dict,那加载的时候,优化器会被初始化回初始状态,学习率也回到0.001——如果之前训练到第30轮时学习率已经降到了0.0001,这相当于之前的优化成果全白费,后面的训练不仅收敛慢,还可能因为参数已经稳定,学习率太大导致损失反弹,直接浪费时间。所以必须存优化器状态和当前epoch,这是checkpoint的核心要求。
三、进阶版checkpoint管理:解决混乱和损坏问题
基础示例已经能满足大部分需求,但训练久了容易出现文件混乱、损坏的问题,进阶管理能帮你避开这些坑。
3.1 定期清理旧checkpoint
如果每轮都存一个完整的checkpoint,100轮下来会占几百MB甚至几个GB的空间,而且找最新的文件也麻烦。刚才的示例里已经加了清理逻辑:只保留最近5个checkpoint,旧的自动删除,既省空间又不会丢进度,非常实用。
3.2 防止checkpoint文件损坏的关键细节
很多新手不知道,用torch.save直接覆盖文件的话,要是程序中途崩溃,文件会只写一半,变成损坏的废文件,甚至会覆盖掉之前正常的checkpoint。刚才的示例里用了“临时文件先写,再重命名为正式文件名”的操作,就是为了避免这个问题:如果中途崩溃,损坏的是临时文件,不会影响之前的正常checkpoint,这是训练长周期任务的必备技巧。
四、不同场景下的checkpoint方案调整
刚才的示例是单GPU训练的,要是用到多GPU、云端训练,需要做小调整。
4.1 多GPU分布式训练(DDP)
如果用PyTorch的DistributedDataParallel做分布式训练,模型会被包装成DDP实例,此时model.state_dict()里的键会带module.前缀(比如module.conv1.weight),直接加载到单GPU模型会报错。解决方法有两种:一是存的时候用model.module.state_dict()代替model.state_dict(),存原始模型的参数;二是加载时把键的module.前缀去掉,比如用new_state = {k.replace('module.', ''):v for k,v in old_state.items()},再加载到单GPU模型。
4.2 云端训练(如Colab、SageMaker)
云端的临时磁盘是易失的,实例重启后本地文件会被删除,所以checkpoint必须存到云盘。比如Colab可以存到Google Drive,SageMaker存到S3,只需要把save_checkpoint里的路径改成云盘路径即可,同时要注意云端训练可能断连,最好每轮主动保存,不要依赖系统自动保存。
五、checkpoint的优缺点与避坑指南
5.1 核心优点
- 节省训练时间:这是最核心的价值,训练中断后不用从头开始,适合大模型、长周期训练,比如预训练大型语言模型,中断续训能省数周的时间。
- 容错性极强:不怕服务器断电、终端误关、代码Bug,只要有最近的checkpoint,就能恢复到最近的状态,不会前功尽弃。
- 可回溯选最优模型:可以通过每个epoch的checkpoint,选出验证集损失最低的模型(很多时候最后一个epoch的模型会过拟合,不是最优的)。
5.2 潜在缺点
- 占用磁盘空间:每个checkpoint一般几百MB,大模型甚至几个GB,存多了会占满磁盘,需要定期清理旧文件。
- 分布式场景复杂:多GPU分布式训练时,多个进程会同时尝试保存checkpoint,需要处理同步问题,避免文件冲突或重复写入,主进程单独保存是更稳妥的方案。
5.3 必须遵守的避坑规则
- 绝不只存模型参数:必须存优化器状态和当前epoch,否则续训会出大问题。
- 训练前先检查是否有checkpoint:每次训练先找最新的checkpoint,有就加载,别从第0轮开始。
- 云端训练必须存到持久化存储:不要存在本地临时磁盘,实例重启后会丢失。
- 用临时文件重命名操作:避免checkpoint文件损坏,这是训练长任务的基础操作。
六、总结
PyTorch的checkpoint管理是深度学习训练的“刚需技能”,很多新手容易踩坑,导致多日训练成果白费。本文从checkpoint的核心逻辑、完整的基础实现,到进阶的文件管理、不同场景的适配,用生活化的类比和带详细注释的代码示例,帮不同基础的开发者搞定训练中断恢复的问题。只要做好checkpoint的管理,再也不用怕训练半途而废,能把精力放在模型效果的打磨上,而不是重复训练的浪费上。
评论
围绕“PyTorch训练中断恢复的 checkpoint 管理问题与解决方案”参与讨论