GRU原理
GRU（Gate Recurrent Unit，门控循环单元）是RNN的改进版本，通过门控机制解决传统RNN的梯度消失问题，能更好地捕捉长距离依赖关系。以下是其核心原理：
一、核心结构（两个门 + 一个候选状态）
1. 更新门（Update Gate）
-
作用：决定保留多少旧状态 vs 采用多少新信息
-
公式：
z t = σ ( W z ⋅ [ h t − 1 , x t ] ) z_t = \sigma(W_z \cdot [h_{t-1}, x_t]) zt=σ(Wz⋅[ht−1,xt])
2. 重置门（Reset Gate）
- 作用：决定忽略多少过去的信息
- 公式：
r t = σ ( W r ⋅ [ h t − 1 , x t ] ) r_t = \sigma(W_r \cdot [h_{t-1}, x_t]) rt=σ(Wr⋅[ht−1,xt])
3. 候选隐藏状态
- 公式：
h ~ t = tanh ( W ⋅ [ r t ⊙ h t − 1 , x t ] ) \tilde{h}_t = \tanh(W \cdot [r_t \odot h_{t-1}, x_t]) h~t=tanh(W⋅[rt⊙ht−1,xt])
4. 最终隐藏状态
- 公式：
h t = ( 1 − z t ) ⊙ h t − 1 + z t ⊙ h ~ t h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t ht=(1−zt)⊙ht−1+zt⊙h~t
二、工作流程示例
假设处理句子：“我爱自然语言处理”
- 输入词向量序列：[我, 爱, 自然, 语言, 处理]
- 每个时间步：
- 通过重置门过滤无关历史信息
- 通过更新门融合新旧状态
- 输出当前隐藏状态 ( h_t )
三、与LSTM的对比
| 特性 | GRU | LSTM |
|---|---|---|
| 门数量 | 2个门（更新门、重置门） | 3个门（输入门、遗忘门、输出门） |
| 参数数量 | 更少（训练更快） | 更多 |
| 性能 | 适合中等长度序列 | 适合超长序列 |
| 结构 | 无细胞状态，直接更新隐藏状态 | 有细胞状态和隐藏状态双通道 |
四、代码中的实际应用
在您之前看到的代码中：
self.gru = nn.GRU(embedding_dim, enc_units, batch_first=True)
embedding_dim：词向量维度（输入特征维度）enc_units：GRU隐藏层维度（即公式中的 ( h_t ) 维度）- 每个时间步输出：包含上下文信息的隐藏状态
五、核心优势总结
- 梯度控制：通过门控机制缓解梯度消失/爆炸
- 长期记忆：更新门控制历史信息的保留比例
- 计算效率：比LSTM参数少约1/3，训练更快
- 实用场景：文本生成、机器翻译、时间序列预测等
通过这种门控设计，GRU能像"智能水龙头"一样，动态控制信息流动，是处理序列数据的利器。