当前位置：首页 > wzjs >正文

楚天网站建设合同域名创建

wzjs 2025/9/8 15:23:40

楚天网站建设合同,域名创建,做装修网站好赚钱吗,抖音seo系统早停策略和模型权重的保存知识点回顾： 过拟合的判断：测试集和训练集同步打印指标模型的保存和加载仅保存权重保存权重和模型保存全部信息checkpoint，还包含训练状态早停策略过拟合的判断：测试集和训练集同步打印指标过拟合就…

早停策略和模型权重的保存

知识点回顾：

过拟合的判断：测试集和训练集同步打印指标
模型的保存和加载
1. 仅保存权重
2. 保存权重和模型
3. 保存全部信息checkpoint，还包含训练状态
早停策略

过拟合的判断：测试集和训练集同步打印指标

过拟合就像是餐厅的厨师过于迎合某一群顾客的口味（训练集），导致其他顾客（测试集）对菜品不太满意。判断过拟合就像是同时收集两群顾客的反馈：

训练集指标：厨师根据常客（训练集）的反馈不断调整菜品，所以常客满意度（训练集指标）逐渐提高。
测试集指标：但新顾客（测试集）可能对这些过于迎合常客口味的菜品不太满意，所以新顾客满意度（测试集指标）没有同步提高甚至下降。

如果发现训练集指标持续变好，但测试集指标变差或停滞，很可能就是过拟合了。

模型的保存和加载

仅保存权重：
- 就像保存了厨师的烹饪手法和调料配方，但没有记录菜品的详细制作步骤。
- 如果要恢复模型，需要按照之前的步骤重新搭建模型框架，然后加载保存的烹饪手法和调料配方。
保存权重和模型：
- 就像不仅保存了厨师的烹饪手法和调料配方，还记录了菜品的详细制作步骤和菜谱。
- 这样别人即使不知道原来的制作方法，也可以根据记录的菜谱和保存的烹饪手法快速还原菜品。
保存全部信息checkpoint，还包含训练状态：
- 就像是保存了整个餐厅在某一时刻的完整状态，包括厨师的烹饪手法、菜谱、当前订单处理进度、库存食材数量等。
- 这样即使餐厅突然停电，恢复供电后也能从上次的状态继续运营，而不会影响后续的服务。

早停策略

早停策略就像是在餐厅推出一道新菜品时设置一个尝试点：

如果连续几次顾客对菜品的满意度没有提升，甚至有所下降，厨师就会停止进一步调整这道菜品，转而尝试其他改进方法。
在训练模型时，如果验证集的性能在若干个训练周期内没有提升，就提前停止训练，避免模型在训练集上过拟合，同时节省训练资源

作业：对信贷数据集训练后保存权重，加载权重后继续训练50轮，并采取早停策略

import torch
import torch.nn as nn
import torch.optim as optim
from sklearn.model_selection import train_test_split
import pandas as pd    #用于数据处理和分析，可处理表格数据。
import numpy as np     #用于数值计算，提供了高效的数组操作。
import matplotlib.pyplot as plt    #用于绘制各种类型的图表
from tqdm import tqdm  # 导入tqdm库用于进度条显示
import warnings
import time
warnings.filterwarnings("ignore") # 忽略所有警告信息
# 设置中文字体（解决中文显示问题）
plt.rcParams['font.sans-serif'] = ['SimHei']  # Windows系统常用黑体字体
plt.rcParams['axes.unicode_minus'] = False    # 正常显示负号
# 设置GPU设备
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
print(f"使用设备: {device}")data = pd.read_csv('data.csv')    #读取数据discrete_features = data.select_dtypes(include=['object']).columns.tolist()
# Home Ownership 标签编码
home_ownership_mapping = {'Own Home': 1,'Rent': 2,'Have Mortgage': 3,'Home Mortgage': 4
}
data['Home Ownership'] = data['Home Ownership'].map(home_ownership_mapping)# Years in current job 标签编码
years_in_job_mapping = {'< 1 year': 1,'1 year': 2,'2 years': 3,'3 years': 4,'4 years': 5,'5 years': 6,'6 years': 7,'7 years': 8,'8 years': 9,'9 years': 10,'10+ years': 11
}
data['Years in current job'] = data['Years in current job'].map(years_in_job_mapping)# Purpose 独热编码，记得需要将bool类型转换为数值
data = pd.get_dummies(data, columns=['Purpose'])
data2 = pd.read_csv("data.csv") # 重新读取数据，用来做列名对比
list_final = [] # 新建一个空列表，用于存放独热编码后新增的特征名
for i in data.columns:if i not in data2.columns:list_final.append(i) # 这里打印出来的就是独热编码后的特征名
for i in list_final:data[i] = data[i].astype(int) # 这里的i就是独热编码后的特征名# Term 0 - 1 映射
term_mapping = {'Short Term': 0,'Long Term': 1
}
data['Term'] = data['Term'].map(term_mapping)
data.rename(columns={'Term': 'Long Term'}, inplace=True) # 重命名列
continuous_features = data.select_dtypes(include=['int64', 'float64']).columns.tolist()  #把筛选出来的列名转换成列表# 连续特征用中位数补全
for feature in continuous_features:     mode_value = data[feature].mode()[0]            #获取该列的众数。data[feature].fillna(mode_value, inplace=True)          #用众数填充该列的缺失值，inplace=True表示直接在原数据上修改。# 最开始也说了 很多调参函数自带交叉验证，甚至是必选的参数，你如果想要不交叉反而实现起来会麻烦很多
# 所以这里我们还是只划分一次数据集
X = data.drop(['Credit Default'], axis=1)  # 特征，axis=1表示按列删除
y = data['Credit Default'] # 标签
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 打印下尺寸
print(X_train.shape)
print(y_train.shape)
print(X_test.shape)
print(y_test.shape)from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test) #确保训练集和测试集是相同的缩放
# 将数据转换为 PyTorch 张量，因为 PyTorch 使用张量进行训练
X_train = torch.FloatTensor(X_train).to(device)
y_train = torch.LongTensor(y_train.values).to(device)
X_test = torch.FloatTensor(X_test).to(device)
y_test = torch.LongTensor(y_test.values).to(device)class MLP(nn.Module): # 定义一个多层感知机（MLP）模型，继承父类nn.Moduledef __init__(self): # 初始化函数super(MLP, self).__init__() # 调用父类的初始化函数# 前三行是八股文，后面的是自定义的self.fc1 = nn.Linear(31, 50)  # 输入层到隐藏层self.relu = nn.ReLU()self.fc2 = nn.Linear(50, 30)  # 隐藏层到输出层self.relu = nn.ReLU()self.fc3 = nn.Linear(30, 15)  # 输出层self.relu = nn.ReLU()self.fc4 = nn.Linear(15, 2)  # 输出层
# 输出层不需要激活函数，因为后面会用到交叉熵函数cross_entropy，交叉熵函数内部有softmax函数，会把输出转化为概率def forward(self, x):out = self.fc1(x)out = self.relu(out)out = self.fc2(out)out = self.relu(out)out = self.fc3(out)out = self.relu(out)out = self.fc4(out)return out# 实例化模型并移至GPU
model = MLP().to(device)# 分类问题使用交叉熵损失函数
criterion = nn.CrossEntropyLoss()# 使用随机梯度下降优化器
# optimizer = optim.SGD(model.parameters(), lr=0.01)# 使用自适应学习率的化器
optimizer = optim.Adam(model.parameters(), lr=0.001)# 训练模型
num_epochs = 20000  # 训练的轮数# 用于存储每200个epoch的损失值和对应的epoch数
train_losses = [] # 存储训练集损失
test_losses = [] # 新增：存储测试集损失
epochs = []start_time = time.time()  # 记录开始时间# 创建tqdm进度条
with tqdm(total=num_epochs, desc="训练进度", unit="epoch") as pbar:# 训练模型for epoch in range(num_epochs):# 前向传播outputs = model(X_train)  # 隐式调用forward函数train_loss = criterion(outputs, y_train)# 反向传播和优化optimizer.zero_grad()train_loss.backward()optimizer.step()# 记录损失值并更新进度条if (epoch + 1) % 200 == 0:# 计算测试集损失，新增代码model.eval()with torch.no_grad():test_outputs = model(X_test)test_loss = criterion(test_outputs, y_test)model.train()train_losses.append(train_loss.item())test_losses.append(test_loss.item())epochs.append(epoch + 1)# 更新进度条的描述信息pbar.set_postfix({'Train Loss': f'{train_loss.item():.4f}', 'Test Loss': f'{test_loss.item():.4f}'})# 每1000个epoch更新一次进度条if (epoch + 1) % 1000 == 0:pbar.update(1000)  # 更新进度条# 确保进度条达到100%if pbar.n < num_epochs:pbar.update(num_epochs - pbar.n)  # 计算剩余的进度并更新time_all = time.time() - start_time  # 计算训练时间
print(f'Training time: {time_all:.2f} seconds')# 可视化损失曲线
plt.figure(figsize=(10, 6))
plt.plot(epochs, train_losses, label='Train Loss') # 原始代码已有
plt.plot(epochs, test_losses, label='Test Loss')  # 新增：测试集损失曲线
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.title('Training and Test Loss over Epochs')
plt.legend() # 新增：显示图例
plt.grid(True)
plt.show()# 在测试集上评估模型，此时model内部已经是训练好的参数了
# 评估模型
model.eval() # 设置模型为评估模式
with torch.no_grad(): # torch.no_grad()的作用是禁用梯度计算，可以提高模型推理速度outputs = model(X_test)  # 对测试数据进行前向传播，获得预测结果_, predicted = torch.max(outputs, 1) # torch.max(outputs, 1)返回每行的最大值和对应的索引correct = (predicted == y_test).sum().item() # 计算预测正确的样本数accuracy = correct / y_test.size(0)print(f'测试集准确率: {accuracy * 100:.2f}%')

训练进度: 100%|██████████| 5000/5000 [00:02<00:00, 2055.77epoch/s, Train Loss=0.3655, Test Loss=0.8031]
早停触发！在第2000轮，测试集损失已有5轮未改善。
最佳测试集损失出现在第1000轮，损失值为0.7726
Training time: 2.43 seconds
加载第1000轮的最佳模型进行最终评估...

@浙大疏锦行