自然梯度下降公式解析

自然梯度下降公式解析

自然梯度下降（Natural Gradient Descent）是一种优化算法，通过调整梯度方向以适应参数空间的曲率（即协方差结构），从而加速收敛。以下是其原理、参数解释及示例：

核心原理

普通梯度下降（GD）直接沿梯度方向更新参数，但在参数空间存在曲率（如参数间相关性）时效率较低。自然梯度下降通过**Fisher信息矩阵（Fisher Information Matrix, F）**对梯度进行预处理，使更新方向更贴近参数空间的几何结构。

公式：
θ new = θ o