传统模型RNN与CNN介绍
1. 循环神经网络（Recurrent Neural Network, RNN）
1.1 基本概念
循环神经网络是一类专门用于处理序列数据的神经网络。在传统的前馈神经网络中，信息只能单向流动，输入层到隐藏层再到输出层，各输入之间是相互独立的。而在 RNN 中，由于序列数据前后元素之间通常存在依赖关系，RNN 通过引入循环结构，使得网络在处理当前时刻的输入时，能够记住之前时刻的信息。
1.2 结构与原理
RNN 的核心结构包含输入层、隐藏层和输出层，并且隐藏层存在自连接，允许信息在时间步之间传递。在每个时间步 ttt，RNN 接收当前输入 xtx_txt 和上一个时间步的隐藏状态 ht−1h_{t - 1}ht−1，然后计算当前时间步的隐藏状态 hth_tht 和输出 yty_tyt，其计算公式如下：
- 隐藏状态更新：ht=σ(Whhht−1+Wxhxt+bh)h_t = \sigma(W_{hh}h_{t - 1}+W_{xh}x_t + b_h)ht=σ(Whhht−1+Wxhxt+bh)
- 输出计算：yt=σ(Whyht+by)y_t = \sigma(W_{hy}h_t + b_y)yt=σ(Whyht+by)
其中，WhhW_{hh}Whh 是隐藏层到隐藏层的权重矩阵，WxhW_{xh}Wxh 是输入层到隐藏层的权重矩阵，WhyW_{hy}Why 是隐藏层到输出层的权重矩阵，bhb_hbh 和 byb_yby 分别是隐藏层和输出层的偏置项，σ\sigmaσ 是激活函数，常用的激活函数有 Sigmoid、Tanh 等。
1.3 应用场景
- 自然语言处理：如语言模型、机器翻译、文本生成等。在语言模型中，RNN 可以根据之前的词预测下一个词；在机器翻译中，它可以处理源语言序列并生成目标语言序列。
- 语音识别：处理语音信号的序列特征，将语音转换为文本。
1.4 局限性
- 梯度消失或梯度爆炸问题：在训练 RNN 时，随着时间步的增加，梯度在反向传播过程中会不断相乘。如果权重值较小，梯度会逐渐趋近于零，导致梯度消失；如果权重值较大，梯度会不断增大，导致梯度爆炸。这使得 RNN 难以学习到序列中的长期依赖关系。
- 训练效率低：由于 RNN 是按时间步依次处理序列，无法并行计算，导致训练速度较慢。
2. 卷积神经网络（Convolutional Neural Network, CNN）
2.1 基本概念
卷积神经网络是一种专门为处理具有网格结构数据（如图像、音频等）而设计的神经网络。它通过卷积层、池化层和全连接层等组件，自动提取数据的特征，减少了模型的参数数量，提高了训练效率和泛化能力。
2.2 结构与原理
- 卷积层：卷积层是 CNN 的核心组件，它使用一组可学习的卷积核（滤波器）对输入数据进行卷积操作。卷积核在输入数据上滑动，每次与局部区域进行点积运算，得到一个特征图。卷积操作可以自动提取数据的局部特征，并且具有平移不变性。
- 池化层：池化层通常紧跟在卷积层之后，用于降低特征图的维度，减少计算量和模型的过拟合风险。常见的池化操作有最大池化和平均池化，它们分别选取局部区域的最大值或平均值作为输出。
- 全连接层：全连接层位于网络的最后部分，将前面卷积层和池化层提取的特征进行整合，输出最终的分类或回归结果。
2.3 应用场景
- 计算机视觉：如图像分类、目标检测、语义分割等。在图像分类任务中，CNN 可以学习到图像的特征，将图像分类到不同的类别中；在目标检测任务中，它可以定位图像中的目标并进行分类。
- 音频处理：如语音识别、音乐分类等。CNN 可以处理音频信号的频谱图，提取音频的特征进行分类或识别。
2.4 优势
- 参数共享：卷积核在整个输入数据上共享，大大减少了模型的参数数量，降低了计算复杂度和过拟合的风险。
- 局部感知：卷积操作只关注输入数据的局部区域，能够有效地提取数据的局部特征，同时具有平移不变性。
- 可并行计算：卷积操作可以在 GPU 上进行高效的并行计算，加速模型的训练和推理过程。
3. RNN 与 CNN 的对比
- 数据类型：RNN 主要用于处理序列数据，强调数据的时间顺序和前后依赖关系；CNN 更适合处理具有网格结构的数据，注重数据的局部特征。
- 处理方式：RNN 是按时间步依次处理序列，信息在时间步之间传递；CNN 通过卷积核在空间上滑动进行特征提取，可以并行计算。
- 应用场景：RNN 在自然语言处理和语音识别等序列处理任务中表现出色；CNN 在计算机视觉和音频处理等领域有广泛的应用。