Gated DeltaNet 网络学习记录
Gated DeltaNet 网络概述
Gated DeltaNet 是一种结合了门控机制（Gating Mechanism）与 DeltaNet 架构的神经网络模型。DeltaNet 的核心思想是通过动态计算输入与记忆状态之间的差异（Delta）来捕获长期依赖关系，而门控机制则用于控制信息流动，增强模型的动态适应能力。Gated DeltaNet 在序列建模任务（如自然语言处理、时间序列预测）中表现出色，尤其在处理长序列时能有效缓解梯度消失或爆炸问题。
核心组件与原理
门控机制
Gated DeltaNet 采用类似 GRU 或 LSTM 的门控结构（如更新门、重置门），但将其与 DeltaNet 的动态差异计算结合。更新门决定当前 Delta 值对隐藏状态的贡献程度，重置门控制历史信息的遗忘比例。
Delta 计算模块
DeltaNet 的核心是动态计算输入与隐藏状态之间的差异（Delta）。给定输入 xtx_txt 和上一时刻隐藏状态 ht−1h_{t-1}ht−1，Delta 计算为：
Δt=f(xt,ht−1) \Delta_t = f(x_t, h_{t-1}) Δt=f(xt,ht−1)
其中 fff 通常是线性变换或简单神经网络。Gated DeltaNet 通过门控机制对 Δt\Delta_tΔt 进行加权，生成最终的状态更新。
数学模型
Gated DeltaNet 的数学表达通常包含以下步骤：
输入与状态差异计算
Δt=Wd⋅[xt;ht−1]+bd \Delta_t = W_d \cdot [x_t; h_{t-1}] + b_d Δt=Wd⋅[xt<