Python训练营打卡 Day37

早停策略和模型权重的保存

知识点回顾：

1. 过拟合的判断：测试集和训练集同步打印指标
2. 模型的保存和加载
   1. 仅保存权重
   2. 保存权重和模型
   3. 保存全部信息checkpoint，还包含训练状态
3. 早停策略

过拟合的判断：测试集和训练集同步打印指标

过拟合就像是餐厅的厨师过于迎合某一群顾客的口味（训练集），导致其他顾客（测试集）对菜品不太满意。判断过拟合就像是同时收集两群顾客的反馈：

• 训练集指标：厨师根据常客（训练集）的反馈不断调整菜品，所以常客满意度（训练集指标）逐渐提高。

• 测试集指标：但新顾客（测试集）可能对这些过于迎合常客口味的菜品不太满意，所以新顾客满意度（测试集指标）没有同步提高甚至下降。

如果发现训练集指标持续变好，但测试集指标变差或停滞，很可能就是过拟合了。

模型的保存和加载

1. 仅保存权重：

   • 就像保存了厨师的烹饪手法和调料配方，但没有记录菜品的详细制作步骤。

   • 如果要恢复模型，需要按照之前的步骤重新搭建模型框架，然后加载保存的烹饪手法和调料配方。

2. 保存权重和模型：

   • 就像不仅保存了厨师的烹饪手法和调料配方，还记录了菜品的详细制作步骤和菜谱。

   • 这样别人即使不知道原来的制作方法，也可以根据记录的菜谱和保存的烹饪手法快速还原菜品。

3. 保存全部信息checkpoint，还包含训练状态：

   • 就像是保存了整个餐厅在某一时刻的完整状态，包括厨师的烹饪手法、菜谱、当前订单处理进度、库存食材数量等。

   • 这样即使餐厅突然停电，恢复供电后也能从上次的状态继续运营，而不会影响后续的服务。

早停策略

早停策略就像是在餐厅推出一道新菜品时设置一个尝试点：

• 如果连续几次顾客对菜品的满意度没有提升，甚至有所下降，厨师就会停止进一步调整这道菜品，转而尝试其他改进方法。

• 在训练模型时，如果验证集的性能在若干个训练周期内没有提升，就提前停止训练，避免模型在训练集上过拟合，同时节省训练资源

作业：对信贷数据集训练后保存权重，加载权重后继续训练50轮，并采取早停策略

import torch
import torch.nn as nn
import torch.optim as optim
from sklearn.model_selection import train_test_split
import pandas as pd    #用于数据处理和分析，可处理表格数据。
import numpy as np     #用于数值计算，提供了高效的数组操作。
import matplotlib.pyplot as plt    #用于绘制各种类型的图表
from tqdm import tqdm  # 导入tqdm库用于进度条显示
import warnings
import time
warnings.filterwarnings("ignore") # 忽略所有警告信息
# 设置中文字体（解决中文显示问题）
plt.rcParams['font.sans-serif'] = ['SimHei']  # Windows系统常用黑体字体
plt.rcParams['axes.unicode_minus'] = False    # 正常显示负号
# 设置GPU设备
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
print(f"使用设备: {device}")data = pd.read_csv('data.csv')    #读取数据discrete_features = data.select_dtypes(include=['object']).columns.tolist()
# Home Ownership 标签编码
home_ownership_mapping = {'Own Home': 1,'Rent': 2,'Have Mortgage': 3,'Home Mortgage': 4
}
data['Home Ownership'] = data['Home Ownership'].map(home_ownership_mapping)# Years in current job 标签编码
years_in_job_mapping = {'< 1 year': 1,'1 year': 2,'2 years': 3,'3 years': 4,'4 years': 5,'5 years': 6,'6 years': 7,'7 years': 8,'8 years': 9,'9 years': 10,'10+ years': 11
}
data['Years in current job'] = data['Years in current job'].map(years_in_job_mapping)# Purpose 独热编码，记得需要将bool类型转换为数值
data = pd.get_dummies(data, columns=['Purpose'])
data2 = pd.read_csv("data.csv") # 重新读取数据，用来做列名对比
list_final = [] # 新建一个空列表，用于存放独热编码后新增的特征名
for i in data.columns:if i not in data2.columns:list_final.append(i) # 这里打印出来的就是独热编码后的特征名
for i in list_final:data[i] = data[i].astype(int) # 这里的i就是独热编码后的特征名# Term 0 - 1 映射
term_mapping = {'Short Term': 0,'Long Term': 1
}
data['Term'] = data['Term'].map(term_mapping)
data.rename(columns={'Term': 'Long Term'}, inplace=True) # 重命名列
continuous_features = data.select_dtypes(include=['int64', 'float64']).columns.tolist()  #把筛选出来的列名转换成列表# 连续特征用中位数补全
for feature in continuous_features:     mode_value = data[feature].mode()[0]            #获取该列的众数。data[feature].fillna(mode_value, inplace=True)          #用众数填充该列的缺失值，inplace=True表示直接在原数据上修改。# 最开始也说了 很多调参函数自带交叉验证，甚至是必选的参数，你如果想要不交叉反而实现起来会麻烦很多
# 所以这里我们还是只划分一次数据集
X = data.drop(['Credit Default'], axis=1)  # 特征，axis=1表示按列删除
y = data['Credit Default'] # 标签
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 打印下尺寸
print(X_train.shape)
print(y_train.shape)
print(X_test.shape)
print(y_test.shape)from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test) #确保训练集和测试集是相同的缩放
# 将数据转换为 PyTorch 张量，因为 PyTorch 使用张量进行训练
X_train = torch.FloatTensor(X_train).to(device)
y_train = torch.LongTensor(y_train.values).to(device)
X_test = torch.FloatTensor(X_test).to(device)
y_test = torch.LongTensor(y_test.values).to(device)class MLP(nn.Module): # 定义一个多层感知机（MLP）模型，继承父类nn.Moduledef __init__(self): # 初始化函数super(MLP, self).__init__() # 调用父类的初始化函数# 前三行是八股文，后面的是自定义的self.fc1 = nn.Linear(31, 50)  # 输入层到隐藏层self.relu = nn.ReLU()self.fc2 = nn.Linear(50, 30)  # 隐藏层到输出层self.relu = nn.ReLU()self.fc3 = nn.Linear(30, 15)  # 输出层self.relu = nn.ReLU()self.fc4 = nn.Linear(15, 2)  # 输出层
# 输出层不需要激活函数，因为后面会用到交叉熵函数cross_entropy，交叉熵函数内部有softmax函数，会把输出转化为概率def forward(self, x):out = self.fc1(x)out = self.relu(out)out = self.fc2(out)out = self.relu(out)out = self.fc3(out)out = self.relu(out)out = self.fc4(out)return out# 实例化模型并移至GPU
model = MLP().to(device)# 分类问题使用交叉熵损失函数
criterion = nn.CrossEntropyLoss()# 使用随机梯度下降优化器
# optimizer = optim.SGD(model.parameters(), lr=0.01)# 使用自适应学习率的化器
optimizer = optim.Adam(model.parameters(), lr=0.001)# 训练模型
num_epochs = 20000  # 训练的轮数# 用于存储每200个epoch的损失值和对应的epoch数
train_losses = [] # 存储训练集损失
test_losses = [] # 新增：存储测试集损失
epochs = []start_time = time.time()  # 记录开始时间# 创建tqdm进度条
with tqdm(total=num_epochs, desc="训练进度", unit="epoch") as pbar:# 训练模型for epoch in range(num_epochs):# 前向传播outputs = model(X_train)  # 隐式调用forward函数train_loss = criterion(outputs, y_train)# 反向传播和优化optimizer.zero_grad()train_loss.backward()optimizer.step()# 记录损失值并更新进度条if (epoch + 1) % 200 == 0:# 计算测试集损失，新增代码model.eval()with torch.no_grad():test_outputs = model(X_test)test_loss = criterion(test_outputs, y_test)model.train()train_losses.append(train_loss.item())test_losses.append(test_loss.item())epochs.append(epoch + 1)# 更新进度条的描述信息pbar.set_postfix({'Train Loss': f'{train_loss.item():.4f}', 'Test Loss': f'{test_loss.item():.4f}'})# 每1000个epoch更新一次进度条if (epoch + 1) % 1000 == 0:pbar.update(1000)  # 更新进度条# 确保进度条达到100%if pbar.n < num_epochs:pbar.update(num_epochs - pbar.n)  # 计算剩余的进度并更新time_all = time.time() - start_time  # 计算训练时间
print(f'Training time: {time_all:.2f} seconds')# 可视化损失曲线
plt.figure(figsize=(10, 6))
plt.plot(epochs, train_losses, label='Train Loss') # 原始代码已有
plt.plot(epochs, test_losses, label='Test Loss')  # 新增：测试集损失曲线
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.title('Training and Test Loss over Epochs')
plt.legend() # 新增：显示图例
plt.grid(True)
plt.show()# 在测试集上评估模型，此时model内部已经是训练好的参数了
# 评估模型
model.eval() # 设置模型为评估模式
with torch.no_grad(): # torch.no_grad()的作用是禁用梯度计算，可以提高模型推理速度outputs = model(X_test)  # 对测试数据进行前向传播，获得预测结果_, predicted = torch.max(outputs, 1) # torch.max(outputs, 1)返回每行的最大值和对应的索引correct = (predicted == y_test).sum().item() # 计算预测正确的样本数accuracy = correct / y_test.size(0)print(f'测试集准确率: {accuracy * 100:.2f}%')

训练进度: 100%|██████████| 5000/5000 [00:02<00:00, 2055.77epoch/s, Train Loss=0.3655, Test Loss=0.8031]
早停触发！在第2000轮，测试集损失已有5轮未改善。
最佳测试集损失出现在第1000轮，损失值为0.7726
Training time: 2.43 seconds
加载第1000轮的最佳模型进行最终评估...

@浙大疏锦行