Fisher信息、梯度方差与学习率调度器的计算流程
目录
- Fisher信息、梯度方差与学习率调度器的计算流程
- **步骤1：定义模型与数据集**
- **步骤2：计算梯度与Fisher信息**
- **步骤3：计算梯度方差**
- **步骤4：定义学习率调度器**
- **步骤5：参数更新流程**
- **示例输出**
- **关键概念说明**
步骤1：定义模型与数据集
模型：逻辑回归分类器，参数为θ = [w, b]
数据集：2个样本（x, y）
- 样本1：x=0 → y=0
- 样本2：x=1 → y=1
目标函数（对数似然）：
L ( θ ) = ∑ i
