当前位置：首页 > news >正文

通俗易懂循环神经网络（RNN）指南

news 2025/7/23 7:38:52

本文用直观类比、图表和代码，带你轻松理解RNN及其变体（LSTM、GRU、双向RNN）的原理和应用。

什么是循环神经网络

循环神经网络（Recurrent Neural Network, RNN）是一类专门用于处理序列数据的神经网络。与前馈神经网络不同，RNN具有“记忆”能力，能够利用过去的信息来帮助当前的决策。这使得RNN特别适合处理像语言、语音、时间序列这样具有时序特性的数据。

类比：你在阅读一句话时，会基于前面看到的单词来理解当前单词的含义。RNN就像有记忆力的神经网络。

RNN的核心思想

RNN的核心思想非常简单而巧妙：网络会对之前的信息进行记忆并应用于当前输出的计算中。也就是说，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。

公式表示：

$ht=f(W⋅xt+U⋅ht−1+b)h_t = f(W \cdot x_t + U \cdot h_{t-1} + b)$

其中：

$h_t$ ：当前时刻的隐藏状态
$x_t$ ：当前时刻的输入
$h_{t-1}$ ：上一时刻的隐藏状态
$W, U$ ：权重矩阵
$b$ ：偏置项
$f$ ：非线性激活函数（如tanh或ReLU）

RNN结构图

RNN的工作机制举例

假设我们要预测句子中的下一个单词：

输入序列：“我” → “爱” → “机器”

处理第一个词“我”：
- 输入：“我”的向量表示
- 初始隐藏状态 $h_0$ 通常设为全零
- 计算 $h1=f(W⋅x1+U⋅h0+b)h_1 = f(W \cdot x_1 + U \cdot h_0 + b)$
- 输出 $y1=g(V⋅h1+c)y_1 = g(V \cdot h_1 + c)$
处理第二个词“爱”：
- 输入：“爱”的向量表示
- 使用之前的隐藏状态 $h_1$
- 计算 $h2=f(W⋅x2+U⋅h1+b)h_2 = f(W \cdot x_2 + U \cdot h_1 + b)$
- 输出 $y2=g(V⋅h2+c)y_2 = g(V \cdot h_2 + c)$
处理第三个词“机器”：
- 输入：“机器”的向量表示
- 使用之前的隐藏状态 $h_2$
- 计算 $h3=f(W⋅x3+U⋅h2+b)h_3 = f(W \cdot x_3 + U \cdot h_2 + b)$
- 输出 $y3=g(V⋅h3+c)y_3 = g(V \cdot h_3 + c)$

RNN的优缺点

优点：

能够处理变长序列数据
考虑了序列中的时间/顺序信息
模型大小不随输入长度增加而变化
可以处理任意长度的输入（理论上）

缺点：

梯度消失/爆炸问题：在反向传播时，梯度会随着时间步长指数级减小或增大，导致难以学习长期依赖关系
计算速度较慢（因为是顺序处理，无法并行化）
简单的RNN结构难以记住很长的序列信息

长短期记忆网络（LSTM）

为了解决RNN的长期依赖问题，Hochreiter和Schmidhuber在1997年提出了长短期记忆网络（Long Short-Term Memory, LSTM）。LSTM是RNN的一种特殊变体，能够学习长期依赖关系。

LSTM的核心结构

LSTM的关键在于它的“细胞状态”（cell state）和三个“门”结构：

遗忘门（Forget Gate）：决定从细胞状态中丢弃哪些信息

$ft=σ(Wf⋅[ht−1,xt]+bf)f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$
输入门（Input Gate）：决定哪些新信息将被存储到细胞状态中

$it=σ(Wi⋅[ht−1,xt]+bi)i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)$

$C~t=tanh⁡(WC⋅[ht−1,xt]+bC)\tilde{C}_t = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C)$
输出门（Output Gate）：决定输出什么信息

$ot=σ(Wo⋅[ht−1,xt]+bo)o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)$

$h_t = o_t * \tanh(C_t)$
细胞状态更新：

$Ct=ft∗Ct−1+it∗C~tC_t = f_t * C_{t-1} + i_t * \tilde{C}_t$

LSTM如何解决长期依赖问题

LSTM通过精心设计的“门”机制解决了传统RNN的梯度消失问题：

细胞状态像一条传送带：信息可以几乎不变地流过整个链条
门结构控制信息流：决定哪些信息应该被记住或遗忘
梯度保护机制：在反向传播时，梯度可以更稳定地流动，不易消失

门控循环单元（GRU）

GRU（Gated Recurrent Unit）是2014年提出的LSTM变体，结构更简单，性能相近。

GRU结构图

重置门（Reset Gate）：决定如何将新输入与之前的记忆结合

$rt=σ(Wr⋅[ht−1,xt]+br)r_t = \sigma(W_r \cdot [h_{t-1}, x_t] + b_r)$
更新门（Update Gate）：决定多少过去信息被保留，多少新信息被加入

$zt=σ(Wz⋅[ht−1,xt]+bz)z_t = \sigma(W_z \cdot [h_{t-1}, x_t] + b_z)$
隐藏状态更新：

$h~t=tanh⁡(W⋅[rt∗ht−1,xt]+b)\tilde{h}_t = \tanh(W \cdot [r_t * h_{t-1}, x_t] + b)$

$ht=(1−zt)∗ht−1+zt∗h~th_t = (1 - z_t) * h_{t-1} + z_t * \tilde{h}_t$

GRU vs LSTM

特性	LSTM	GRU
门数量	3个(遗忘门、输入门、输出门)	2个(重置门、更新门)
参数数量	较多	较少(比LSTM少约1/3)
计算效率	较低	较高
性能	在大多数任务上表现优异	在多数任务上与LSTM相当
适用场景	需要长期记忆的复杂任务	资源受限或需要更快训练的场景

双向RNN（Bi-RNN）

标准RNN只能利用过去的信息，但有时未来的信息也同样重要。双向RNN通过结合正向和反向两个方向的RNN来解决这个问题。

双向RNN结构图

简单RNN/LSTM/GRU代码实现（PyTorch）

下面是用PyTorch实现的基础RNN、LSTM和GRU的示例代码（以字符序列为例）：

import torch
import torch.nn as nn# 简单RNN单元
class SimpleRNN(nn.Module):def __init__(self, input_size, hidden_size, output_size):super(SimpleRNN, self).__init__()self.rnn = nn.RNN(input_size, hidden_size, batch_first=True)self.fc = nn.Linear(hidden_size, output_size)def forward(self, x):out, _ = self.rnn(x)out = self.fc(out[:, -1, :])return out# LSTM单元
class SimpleLSTM(nn.Module):def __init__(self, input_size, hidden_size, output_size):super(SimpleLSTM, self).__init__()self.lstm = nn.LSTM(input_size, hidden_size, batch_first=True)self.fc = nn.Linear(hidden_size, output_size)def forward(self, x):out, _ = self.lstm(x)out = self.fc(out[:, -1, :])return out# GRU单元
class SimpleGRU(nn.Module):def __init__(self, input_size, hidden_size, output_size):super(SimpleGRU, self).__init__()self.gru = nn.GRU(input_size, hidden_size, batch_first=True)self.fc = nn.Linear(hidden_size, output_size)def forward(self, x):out, _ = self.gru(x)out = self.fc(out[:, -1, :])return out# 示例：假设输入为(batch, seq_len, input_size)
input_size = 10
hidden_size = 20
output_size = 5
x = torch.randn(32, 15, input_size)model = SimpleLSTM(input_size, hidden_size, output_size)
output = model(x)
print(output.shape)  # torch.Size([32, 5])