深度学习复习笔记

深度前馈神经网络

卷积神经网络

Advanced卷积神经网络

Lightweight CNN

dwconv

squeezenet

这边右侧的e3是3x3卷积吧

SENet

在通道维度压一下，强迫各维度混合学习，再还原

ShuffleNet

Group Convolution在 AlexNet 中引入，用于将模型分布到两块 GPU 上。但这样某个通道的输出只能来自一小部分输入通道，这样阻止了通道之间的信息流

打乱通道就能交流了

CondenseNet

分组卷积存在通道之间的信息沟通不畅以及特征多样性不足的问题。CondenseNet提出的解决策略是在训练的过程中让模型选择更好的分组方式

自学习分组卷积可以分成两个阶段：浓缩阶段和优化阶段。其中浓缩阶段用于剪枝没用的特征，优化阶段用于优化剪枝之后的网络。

浓缩时，在训练该网络时使用了分组lasso正则项，会有 1/C 的特征被剪枝掉

CondenseNet的剪枝并不是直接将这个特征删除，而是通过掩码的形式将被剪枝的特征置0，因此在训练的过程中CondenseNet的时间并没有减少，反而会需要更多的显存用来保存掩码

EfficientNet

用NAS调模型宽度和深度

间隔损失

contrastive loss

其中d代表两个样本特征的欧氏距离，y为两个样本是否匹配的标签，y=1代表两个样本相似或者匹配，y=0则代表不匹配。margin为设定的阈值，这种损失函数主要是用在降维中，即本来相似的样本，在经过降维（特征提取）后，在特征空间中，两个样本仍旧相似；而原本不相似的样本，在经过降维后，在特征空间中，两个样本仍旧不相似。

Triplet Loss

输入是一个三元组 <a, p, n>

• a： anchor，表示一个基准样本
• p： positive, 与 a 是同一类别的样本，比如就是同一个人的照片
• n： negative, 与 a 是不同类别的样本，比如就是不同人的照片

希望让a和p的距离尽可能小，而a和n的距离尽可能大

Center Loss

为了解决open set问题，即当训练集和测试集的类别不完全相同的情况

通过MSE做类似聚类的loss，保证最小化类内距离的同时保证特征可分，来提高特征之间的可判别性

L-Softmax

在softmax基础上将 theta 1 乘以正整数m

m越大，决策间隔越大

Modified Softmax

限制了一些条件：∥Wi∥=1，bi=0，由这些条件，可以得到修正的损失函数