深度学习零碎知识

1. 理解似然函数

        似然函数是指当前状态下模型空间中找到合理模型的概率，所以可以理解为最小化损失函数就可以最大化似然函数，最大可能找到正确的模型。

2. 增加隐藏层层数而非神经元个数

神经网络的万有近似性质表明，​一个具有足够多神经元的单隐藏层前馈神经网络可以近似任何连续函数。这意味着理论上，单层网络已经具备强大的表达能力。

然而，​理论上的可能性并不等于实际的高效性。在实际应用中，单层网络可能需要非常多的神经元才能达到较好的效果

深层神经网络可以学习到层次化的特征表示：

• 浅层（靠近输入层）学习低级特征（如边缘、纹理）。
• 深层（靠近输出层）学习高级特征（如物体形状、语义信息）。
  这种层次化的特征提取能力使得深层网络能够更好地表示复杂的函数关系。

（2）​更高效的特征学习

深层网络可以用更少的参数学习到更复杂的特征。相比之下，单层网络需要大量神经元才能达到类似的效果，导致参数冗余和计算浪费。

（3）​缓解梯度消失和爆炸问题

在浅层网络中，梯度消失和梯度爆炸问题较为严重，导致训练困难。深层网络通过以下技术缓解这些问题：

• ​残差连接（Residual Connections）​：如ResNet中的跳跃连接，帮助梯度更好地传播。
• ​批量归一化（Batch Normalization）​：稳定训练过程，加速收敛。

3. ​激活函数的本质是什么？

激活函数的核心作用是引入非线性，从而使神经网络能够学习复杂的函数关系。具体来说，激活函数的本质包括：

（1）​非线性变换

如果没有激活函数，神经网络只是多个线性变换的叠加，整体仍然是一个线性模型。通过激活函数，神经网络可以表示复杂的非线性函数，从而解决更复杂的任务。

（2）​特征提取

激活函数帮助神经网络提取不同层次的特征。浅层网络提取低级特征（如边缘、纹理），深层网络提取高级特征（如物体形状、语义信息）。这种层次化的特征提取能力是深度学习成功的关键。

（3）​控制输出范围

激活函数可以控制神经元的输出范围，使其符合任务需求。例如：

• Sigmoid将输出限制在 [0,1]，适合二分类任务。
• Tanh将输出限制在 [−1,1]，适合需要负值的任务。
• ReLU将输出限制在 [0,+∞)，适合需要非负值的任务。