day41/60
@浙大疏锦行
DAY 41 简单CNN
知识回顾
- 数据增强
- 卷积神经网络定义的写法
- batch归一化：调整一个批次的分布，常用与图像数据
- 特征图：只有卷积操作输出的才叫特征图
- 调度器：直接修改基础学习率
卷积操作常见流程如下：
1. 输入 → 卷积层 → Batch归一化层（可选） → 池化层 → 激活函数 → 下一层
- Flatten -> Dense (with Dropout，可选) -> Dense (Output)
这里相关的概念比较多，如果之前没有学习过复试班强化班中的计算机视觉部分，请自行上网检索视频了解下基础概念，也可以对照我提供的之前的讲义学习下。
作业：尝试手动修改下不同的调度器和CNN的结构，观察训练的差异。
以下用 **“榨果汁工厂”** 的生产流程做类比，把这些深度学习概念讲得超接地气，再整理成好记的复习笔记：
一、知识点通俗解释 + 趣味比喻
1. 数据增强（Data Augmentation）
含义：对原始数据（图像 / 文本等）做 “变形”（旋转、裁剪、翻转等），让数据变多、变多样，让模型见更多 “世面”，防止过拟合。
比喻 → 果汁厂 “原料变形术”
果汁厂想做 “苹果汁”，但只有 100 个苹果（数据少）：
- 不增强：直接榨这 100 个苹果，模型（生产线）只会认 “标准圆形、红色” 的苹果；
- 增强后：把苹果旋转（歪着放）、裁剪（只取一半）、翻转（倒着放） ，变出 “歪苹果、半块苹果、倒苹果” 等新样本，模型见多了 “奇怪苹果”，遇到真实场景（比如椭圆苹果）也能认出！
常见操作（图像）：
python
运行
# torchvision.transforms 示例
transforms.Compose([transforms.RandomRotation(15), # 随机旋转15度transforms.RandomCrop(224), # 随机裁剪成224×224transforms.RandomHorizontalFlip(), # 随机水平翻转
])
2. 卷积神经网络（CNN）定义写法
含义：用代码搭建 CNN 的 “层结构”（卷积层、池化层、全连接层等），像搭乐高一样拼出模型，让它能提取特征、做预测。
比喻 → 果汁厂 “生产线设计图”
果汁厂设计生产线（CNN）：
- 第一层（卷积层）：用 “滤网”（卷积核）过滤苹果（图像），筛出 “边缘、颜色” 等基础特征（比如识别苹果的轮廓）；
- 中间层（池化层 + BatchNorm）：“压缩滤网”（池化）让特征更浓缩，“调味”（BatchNorm）让特征分布更稳定；
- 最后层（全连接层）：把所有特征汇总，判断是 “苹果汁” 还是 “橙汁”（分类任务）。
PyTorch 定义 CNN 示例：
python
运行
import torch.nn as nnclass CNN(nn.Module):def __init__(self):super(CNN, self).__init__()# 卷积层：提取基础特征self.conv1 = nn.Conv2d(3, 16, 3) # 3通道→16特征图，3×3卷积核# Batch归一化：稳定特征分布self.bn1 = nn.BatchNorm2d(16)# 池化层：压缩特征self.pool = nn.MaxPool2d(2, 2)# 全连接层：分类输出self.fc1 = nn.Linear(16*111*111, 10) # 假设输入是224×224，池化后维度变化def forward(self, x):x = self.pool(torch.relu(self.bn1(self.conv1(x))))x = x.view(-1, 16*111*111) # 展平（除batchsize外）x = torch.relu(self.fc1(x))return x
3. Batch 归一化（Batch Normalization）
含义：对一个批次的数据（比如一次喂给模型的 32 张图像），调整它们的 “特征分布”（让均值、方差更稳定），让模型训练更顺畅。
比喻 → 果汁厂 “调味车间”
果汁厂生产时，每批苹果（一个 batch）的酸甜度不同：
- 不归一化：第一批苹果特酸，第二批特甜，模型（生产线）学不会稳定的 “果汁配方”；
- BatchNorm 后：每批苹果进 “调味车间”，统一调整酸甜度（均值、方差），生产线（模型）能稳定学习怎么榨出好喝的果汁。
关键作用：
- 加速训练（减少梯度波动）；
- 防止过拟合（让模型更关注数据本质）。
4. 特征图（Feature Map）
含义：卷积层输出的结果，是原始数据经过 “滤网（卷积核）过滤” 后，提取的 “局部特征”（比如边缘、纹理、颜色块）。
比喻 → 果汁厂 “过滤后的特征汁”
苹果（图像）进卷积层（滤网），滤网会筛出 “红色区域”“圆形轮廓” 等特征，这些筛出来的 “特征汁”（Feature Map），就是后续层要加工的原料！
注意：只有卷积层输出才算特征图，池化、全连接层的输出不算～
5. 调度器（Scheduler）
含义：训练时自动调整学习率（比如刚开始大步走，后期小步微调），让模型训练更高效。
比喻 → 果汁厂 “传送带调速器”
果汁厂传送带（学习率）：
- 刚开始（模型参数随机）：传送带开快车（大学习率），快速调整方向；
- 训练后期（接近最优解）：传送带开慢车（小学习率），慢慢微调参数。
PyTorch 调度器示例（搭配优化器）：
python
运行
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
# 学习率随epoch衰减
scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.1)# 训练循环中
for epoch in range(100):train(...)scheduler.step() # 每个epoch更新学习率
二、复习笔记（结构化 + 流程图 + 口诀）
标题：CNN 核心概念 ｜ 榨果汁工厂类比版
| 知识点 | 榨果汁工厂比喻 | 关键逻辑 / 代码 | 记忆口诀 |
|---|---|---|---|
| 1. 数据增强 | 原料变形（旋转 / 裁剪） | transforms.RandomXXX 扩充数据 | 数据不够，变形来凑！ |
| 2. CNN 定义 | 生产线设计图（卷积 + 全连接） | nn.Conv2d + nn.Linear 搭积木 | 卷积提特征，全连接分类！ |
| 3. Batch 归一化 | 调味车间（统一酸甜度） | nn.BatchNorm2d 稳分布 | 批次数据归一化，训练更顺畅！ |
| 4. 特征图 | 过滤后的 “特征汁” | 卷积层输出，存局部特征（边缘 / 纹理） | 卷积出特征，地图存细节！ |
| 5. 调度器 | 传送带调速器 | lr_scheduler 自动调学习率 | 学习率调度，快慢有节奏！ |
CNN 常见流程（榨果汁步骤版）
三、一句话总结
- 数据增强：给数据 “变魔术”，让模型见更多世面；
- CNN 定义：搭 “特征提取→分类” 的生产线，用卷积层抽特征，全连接层做决策；
- Batch 归一化：给批次数据 “统一调味”，让训练更稳；
- 特征图：卷积层筛出的 “特征汁”，存图像局部细节；
- 调度器：自动调学习率 “快慢节奏”，让模型训练更高效！
用 “榨果汁工厂” 联想，这些抽象概念瞬间变直观，复习时闭眼想流程，知识点全串联～
卷积操作常见流程如下：
1. 输入 → 卷积层 → Batch归一化层（可选） → 池化层 → 激活函数 → 下一层
- Flatten -> Dense (with Dropout，可选) -> Dense (Output）
import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms
from torch.utils.data import DataLoader
import matplotlib.pyplot as plt
import numpy as np# 设置中文字体支持
plt.rcParams["font.family"] = ["SimHei"]
plt.rcParams['axes.unicode_minus'] = False # 解决负号显示问题# 检查GPU是否可用
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
print(f"使用设备: {device}")# 1. 数据预处理
# 训练集：使用多种数据增强方法提高模型泛化能力
train_transform = transforms.Compose([# 随机裁剪图像，从原图中随机截取32x32大小的区域transforms.RandomCrop(32, padding=4),# 随机水平翻转图像（概率0.5）transforms.RandomHorizontalFlip(),# 随机颜色抖动：亮度、对比度、饱和度和色调随机变化transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.1),# 随机旋转图像（最大角度15度）transforms.RandomRotation(15),# 将PIL图像或numpy数组转换为张量transforms.ToTensor(),# 标准化处理：每个通道的均值和标准差，使数据分布更合理transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010))
])# 测试集：仅进行必要的标准化，保持数据原始特性，标准化不损失数据信息，可还原
test_transform = transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010))
])# 2. 加载CIFAR-10数据集
train_dataset = datasets.CIFAR10(root='./data',train=True,download=True,transform=train_transform # 使用增强后的预处理
)test_dataset = datasets.CIFAR10(root='./data',train=False,transform=test_transform # 测试集不使用增强
)# 3. 创建数据加载器
batch_size = 64
train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=batch_size, shuffle=False)
# 4. 定义CNN模型的定义（替代原MLP）
class CNN(nn.Module):def __init__(self):super(CNN, self).__init__() # 继承父类初始化# ---------------------- 第一个卷积块 ----------------------# 卷积层1：输入3通道（RGB），输出32个特征图，卷积核3x3，边缘填充1像素self.conv1 = nn.Conv2d(in_channels=3, # 输入通道数（图像的RGB通道）out_channels=32, # 输出通道数（生成32个新特征图）kernel_size=3, # 卷积核尺寸（3x3像素）padding=1 # 边缘填充1像素，保持输出尺寸与输入相同)# 批量归一化层：对32个输出通道进行归一化，加速训练self.bn1 = nn.BatchNorm2d(num_features=32)# ReLU激活函数：引入非线性，公式：max(0, x)self.relu1 = nn.ReLU()# 最大池化层：窗口2x2，步长2，特征图尺寸减半（32x32→16x16）self.pool1 = nn.MaxPool2d(kernel_size=2, stride=2) # stride默认等于kernel_size# ---------------------- 第二个卷积块 ----------------------# 卷积层2：输入32通道（来自conv1的输出），输出64通道self.conv2 = nn.Conv2d(in_channels=32, # 输入通道数（前一层的输出通道数）out_channels=64, # 输出通道数（特征图数量翻倍）kernel_size=3, # 卷积核尺寸不变padding=1 # 保持尺寸：16x16→16x16（卷积后）→8x8（池化后）)self.bn2 = nn.BatchNorm2d(num_features=64)self.relu2 = nn.ReLU()self.pool2 = nn.MaxPool2d(kernel_size=2) # 尺寸减半：16x16→8x8# ---------------------- 第三个卷积块 ----------------------# 卷积层3：输入64通道，输出128通道self.conv3 = nn.Conv2d(in_channels=64, # 输入通道数（前一层的输出通道数）out_channels=128, # 输出通道数（特征图数量再次翻倍）kernel_size=3,padding=1 # 保持尺寸：8x8→8x8（卷积后）→4x4（池化后）)self.bn3 = nn.BatchNorm2d(num_features=128)self.relu3 = nn.ReLU() # 复用激活函数对象（节省内存）self.pool3 = nn.MaxPool2d(kernel_size=2) # 尺寸减半：8x8→4x4# ---------------------- 全连接层（分类器） ----------------------# 计算展平后的特征维度：128通道 × 4x4尺寸 = 128×16=2048维self.fc1 = nn.Linear(in_features=128 * 4 * 4, # 输入维度（卷积层输出的特征数）out_features=512 # 输出维度（隐藏层神经元数）)# Dropout层：训练时随机丢弃50%神经元，防止过拟合self.dropout = nn.Dropout(p=0.5)# 输出层：将512维特征映射到10个类别（CIFAR-10的类别数）self.fc2 = nn.Linear(in_features=512, out_features=10)def forward(self, x):# 输入尺寸：[batch_size, 3, 32, 32]（batch_size=批量大小，3=通道数，32x32=图像尺寸）# ---------- 卷积块1处理 ----------x = self.conv1(x) # 卷积后尺寸：[batch_size, 32, 32, 32]（padding=1保持尺寸）x = self.bn1(x) # 批量归一化，不改变尺寸x = self.relu1(x) # 激活函数，不改变尺寸x = self.pool1(x) # 池化后尺寸：[batch_size, 32, 16, 16]（32→16是因为池化窗口2x2）# ---------- 卷积块2处理 ----------x = self.conv2(x) # 卷积后尺寸：[batch_size, 64, 16, 16]（padding=1保持尺寸）x = self.bn2(x)x = self.relu2(x)x = self.pool2(x) # 池化后尺寸：[batch_size, 64, 8, 8]# ---------- 卷积块3处理 ----------x = self.conv3(x) # 卷积后尺寸：[batch_size, 128, 8, 8]（padding=1保持尺寸）x = self.bn3(x)x = self.relu3(x)x = self.pool3(x) # 池化后尺寸：[batch_size, 128, 4, 4]# ---------- 展平与全连接层 ----------# 将多维特征图展平为一维向量：[batch_size, 128*4*4] = [batch_size, 2048]x = x.view(-1, 128 * 4 * 4) # -1自动计算批量维度，保持批量大小不变x = self.fc1(x) # 全连接层：2048→512，尺寸变为[batch_size, 512]x = self.relu3(x) # 激活函数（复用relu3，与卷积块3共用）x = self.dropout(x) # Dropout随机丢弃神经元，不改变尺寸x = self.fc2(x) # 全连接层：512→10，尺寸变为[batch_size, 10]（未激活，直接输出logits）return x # 输出未经过Softmax的logits，适用于交叉熵损失函数# 初始化模型
model = CNN()
model = model.to(device) # 将模型移至GPU（如果可用）criterion = nn.CrossEntropyLoss() # 交叉熵损失函数
optimizer = optim.Adam(model.parameters(), lr=0.001) # Adam优化器# 引入学习率调度器，在训练过程中动态调整学习率--训练初期使用较大的 LR 快速降低损失，训练后期使用较小的 LR 更精细地逼近全局最优解。
# 在每个 epoch 结束后，需要手动调用调度器来更新学习率，可以在训练过程中调用 scheduler.step()
scheduler = optim.lr_scheduler.ReduceLROnPlateau(optimizer, # 指定要控制的优化器（这里是Adam）mode='min', # 监测的指标是"最小化"（如损失函数）patience=3, # 如果连续3个epoch指标没有改善，才降低LRfactor=0.5 # 降低LR的比例（新LR = 旧LR × 0.5）
)
# 5. 训练模型（记录每个 iteration 的损失）
def train(model, train_loader, test_loader, criterion, optimizer, scheduler, device, epochs):model.train() # 设置为训练模式# 记录每个 iteration 的损失all_iter_losses = [] # 存储所有 batch 的损失iter_indices = [] # 存储 iteration 序号# 记录每个 epoch 的准确率和损失train_acc_history = []test_acc_history = []train_loss_history = []test_loss_history = []for epoch in range(epochs):running_loss = 0.0correct = 0total = 0for batch_idx, (data, target) in enumerate(train_loader):data, target = data.to(device), target.to(device) # 移至GPUoptimizer.zero_grad() # 梯度清零output = model(data) # 前向传播loss = criterion(output, target) # 计算损失loss.backward() # 反向传播optimizer.step() # 更新参数# 记录当前 iteration 的损失iter_loss = loss.item()all_iter_losses.append(iter_loss)iter_indices.append(epoch * len(train_loader) + batch_idx + 1)# 统计准确率和损失running_loss += iter_loss_, predicted = output.max(1)total += target.size(0)correct += predicted.eq(target).sum().item()# 每100个批次打印一次训练信息if (batch_idx + 1) % 100 == 0:print(f'Epoch: {epoch+1}/{epochs} | Batch: {batch_idx+1}/{len(train_loader)} 'f'| 单Batch损失: {iter_loss:.4f} | 累计平均损失: {running_loss/(batch_idx+1):.4f}')# 计算当前epoch的平均训练损失和准确率epoch_train_loss = running_loss / len(train_loader)epoch_train_acc = 100. * correct / totaltrain_acc_history.append(epoch_train_acc)train_loss_history.append(epoch_train_loss)# 测试阶段model.eval() # 设置为评估模式test_loss = 0correct_test = 0total_test = 0with torch.no_grad():for data, target in test_loader:data, target = data.to(device), target.to(device)output = model(data)test_loss += criterion(output, target).item()_, predicted = output.max(1)total_test += target.size(0)correct_test += predicted.eq(target).sum().item()epoch_test_loss = test_loss / len(test_loader)epoch_test_acc = 100. * correct_test / total_testtest_acc_history.append(epoch_test_acc)test_loss_history.append(epoch_test_loss)# 更新学习率调度器scheduler.step(epoch_test_loss)print(f'Epoch {epoch+1}/{epochs} 完成 | 训练准确率: {epoch_train_acc:.2f}% | 测试准确率: {epoch_test_acc:.2f}%')# 绘制所有 iteration 的损失曲线plot_iter_losses(all_iter_losses, iter_indices)# 绘制每个 epoch 的准确率和损失曲线plot_epoch_metrics(train_acc_history, test_acc_history, train_loss_history, test_loss_history)return epoch_test_acc # 返回最终测试准确率# 6. 绘制每个 iteration 的损失曲线
def plot_iter_losses(losses, indices):plt.figure(figsize=(10, 4))plt.plot(indices, losses, 'b-', alpha=0.7, label='Iteration Loss')plt.xlabel('Iteration（Batch序号）')plt.ylabel('损失值')plt.title('每个 Iteration 的训练损失')plt.legend()plt.grid(True)plt.tight_layout()plt.show()# 7. 绘制每个 epoch 的准确率和损失曲线
def plot_epoch_metrics(train_acc, test_acc, train_loss, test_loss):epochs = range(1, len(train_acc) + 1)plt.figure(figsize=(12, 4))# 绘制准确率曲线plt.subplot(1, 2, 1)plt.plot(epochs, train_acc, 'b-', label='训练准确率')plt.plot(epochs, test_acc, 'r-', label='测试准确率')plt.xlabel('Epoch')plt.ylabel('准确率 (%)')plt.title('训练和测试准确率')plt.legend()plt.grid(True)# 绘制损失曲线plt.subplot(1, 2, 2)plt.plot(epochs, train_loss, 'b-', label='训练损失')plt.plot(epochs, test_loss, 'r-', label='测试损失')plt.xlabel('Epoch')plt.ylabel('损失值')plt.title('训练和测试损失')plt.legend()plt.grid(True)plt.tight_layout()plt.show()# 8. 执行训练和测试
epochs = 20 # 增加训练轮次以获得更好效果
print("开始使用CNN训练模型...")
final_accuracy = train(model, train_loader, test_loader, criterion, optimizer, scheduler, device, epochs)
print(f"训练完成！最终测试准确率: {final_accuracy:.2f}%")# # 保存模型
# torch.save(model.state_dict(), 'cifar10_cnn_model.pth')
# print("模型已保存为: cifar10_cnn_model.pth")