21.AlexNet

虽然LeNet在手写数字识别上取得了不错的结果，但是他在对于更大的数据集效果就十分有限。
一方面，对于更大尺寸的图像效果有限
另一方面，对于更多分类的任务效果有限

自LeNet后的十几年，计算机视觉领域步入寒冬，神经网络再未取得比较好的效果，反而一度被其他算法超越。
一方面，神经网络计算比较复杂，硬件计算能力有限
另一方面，当时很少有专门针对神经网络做算法的研究和训练技巧上的优化，这导致神经网络收敛是很困难的事。

随着技术发展，硬件算力逐渐强大，GPU的强大并行能力使复杂的神经网络计算易于实现。其次，随着互联网的成熟，越来越多的数据可以作为训练的来源，开始有人对神经网络进行深入的研究。

Alex等人于2012年在ImageNet比赛中提出的网络AlexNet取得冠军，效果优异，极大激发产业界对神经网络的兴趣，开创了通过深度神经网络解决图像问题的途径，深度学习在计算机视觉领域开始大放异彩。

论文题目：ImageNet Classification with Deep Convolutional Neural Networks

创新点

• 数据增强
• 使用了Dropout抑制过拟合
• 使用了ReLu的激活函数，极大降低了梯度消失的问题
• 用了两块GPU，引入了并行计算的思想（目前显存完全足够，无需分别计算了）