20.LeNet

论文题目：Gradient-Based Learning Applied to Document Recognition

Yan LeCun等人于1998年第一次将卷积神经网络应用于分类任务，在手写数字识别任务上取得巨大成功。

LeNet通过连续的使用卷积层和池化层进行组合提取图像特征，下图是LeNet-5的网络模型

原始论文对初始图片加了2层padding，28——32，事实上没有必要，MINST原始尺寸就是28x28

moduel1：5x5的6通道卷积核，2x2平均池化层，激活函数使用Sigmoid。图像尺寸变化32——28——14。（6,14,14）

moduel2：5x5的16通道卷积核，2x2平均池化层，激活函数使用Sigmoid。图像尺寸变化14——10——5。（16,5,5）

moduel3：5x5的120通道卷积核，激活函数使用Sigmoid。图像尺寸变化5——1。(120,1,1)

moduel4：全连接层，输入(1,120)，输出(1,84)

moduel5：全连接层，输入(1,84)，输出(1,10)，最后，经过高斯混合进行概率预测，目前来看Softmax效果可以更好

关键创新

开始大量采用重复的卷积、非线性变换、池化
采用了Sigmoid激活函数
采用了平均池化