Class24AlexNet
Class24AlexNet
AlexNet
AlexNet于2012年ImageNet 图像识别挑战赛（ILSVRC-2012）中以 top-5 错误率15.3%获得冠军，远远领先第二名。它首次在大型图像数据集上证明了深层卷积神经网络的强大能力。
AlexNet 的总体结构
AlexNet 总共有 8 层具有学习参数的网络层:
| 层编号 | 类型 | 参数 / 特点 |
|---|---|---|
| 1 | 卷积层（Conv1） | 11×11 卷积核，96个通道，步幅4，ReLU，局部响应归一化（LRN），最大池化 |
| 2 | 卷积层（Conv2） | 5×5 卷积核，256个通道，ReLU，LRN，最大池化 |
| 3 | 卷积层（Conv3） | 3×3 卷积核，384个通道，ReLU |
| 4 | 卷积层（Conv4） | 3×3 卷积核，384个通道，ReLU |
| 5 | 卷积层（Conv5） | 3×3 卷积核，256个通道，ReLU，最大池化 |
| 6 | 全连接层（FC6） | 输入维度较大，输出为 4096，ReLU，Dropout |
| 7 | 全连接层（FC7） | 4096 → 4096，ReLU，Dropout |
| 8 | 全连接层（FC8） | 4096 → 1000（类别数），Softmax 输出 |
AlexNet的特点
1.使用 GPU 加速
AlexNet 是第一个在训练时使用 GPU 加速的深度网络。当时使用了 2 个 GPU 并行处理，每个 GPU 处理一半神经元，跨 GPU 只在某些层通信。
2.使用 ReLU 激活函数
替代传统的 sigmoid / tanh，使得网络收敛更快。
3.使用 Dropout 防止过拟合
在两个全连接层之间添加 Dropout（随机丢弃部分神经元）。
4.数据增强
包括图像翻转、裁剪、颜色扰动等，有效扩大训练集、防止过拟合。
5.LRN 局部响应归一化
用于增强激活的竞争机制，虽然在后来的网络（如 VGG、ResNet）中被弃用。
6.重叠池化
池化窗口之间存在重叠（如池化核 3×3，步幅 2），有助于减小信息损失。
AlexNet 与 LeNet 对比
| 特性 | LeNet-5 | AlexNet |
|---|---|---|
| 提出时间 | 1998 | 2012 |
| 输入尺寸 | 32×32×1 | 224×224×3 |
| 激活函数 | Sigmoid / tanh | ReLU |
| 网络层数 | 5 | 8 |
| 使用GPU | 否 | 是 |
| Dropout | 否 | 是 |
| 数据增强 | 少 | 多 |
3X3卷积和2X2卷积的主要区别
| 特性 | 3×3 卷积核 | 2×2 卷积核 |
|---|---|---|
| 感受野（感知范围） | 覆盖 9 个像素 | 覆盖 4 个像素 |
| 参数数量（单通道） | 9 个参数 | 4 个参数 |
| 特征提取能力 | 更强，能提取更复杂的边缘和纹理 | 稍弱，适合较简单的特征 |
| 适用性 | 应用于大多数主流网络结构 | 很少用于主干卷积层 |
| 信息融合能力 | 更强，覆盖区域大，提取更充分 | 较弱，感受区域小 |
| 卷积后输出尺寸变化 | 更容易对称（保持形状） | 更容易造成输出尺寸减半 |
| 是否常用于堆叠 | 是（如 VGG 中大量堆叠） | 否（多用于特殊场景） |
3×3 卷积是主流标准，信息提取强大；2×2 卷积偶尔作为轻量化或结构替代手段出现，但功能更弱。