Transformer中，Fisher矩阵与权重之间关系
Transformer中，Fisher矩阵与权重之间关系
目录
-
- Transformer中，Fisher矩阵与权重之间关系
-
- 一、Fisher矩阵与Transformer权重的关系
- 二、Fisher矩阵的更新方式
- 三、举例说明
- 给出案例：Transformer权重矩阵，Fisher矩阵，说明对应关系和怎么更新
- 二阶导数计算需要大量算力有什么方法替代？
-
- **案例：基于Transformer的情感分类模型**
- **1. Transformer权重矩阵与Fisher矩阵的对应关系**
- **2. 权重矩阵与Fisher矩阵的更新**
-
- **Transformer权重更新**
- **Fisher矩阵更新**
- **3. 替代二阶导数计算的方法**
-
- **方法1：有限差分近似**
- **方法2：矩阵-向量乘积（共轭梯度法）**
- **方法3：自然梯度下降（利用Fisher矩阵）**
- **总结**
- 数字举例
-
- **案例设定**
- **1. 计算输出概率**
-
- **步骤1：注意力计算**
- **步骤2：注意力得分与输出**
- **步骤3：输出分类**
- 为什么0.45 是y=1.不是-0.375
-
- **2. 计算梯度与Fisher矩阵**
-
- **损失函数**：交叉熵
- **梯度计算**
- **Fisher矩阵元素计算**
- **3. 权重矩阵与Fisher矩阵的对应关系**
- **4. 权重更新与Fisher矩阵的应用**
-
- **自然梯度更新（使用Fisher矩阵）**
- **总结**
在Transformer中，Fisher矩阵与权重之间存在着紧密的联系，在模型训练和多任务学习等场景中发挥着重要作用
一、Fisher矩阵与Transformer权重的关系
- 衡量权重重要性：在Transformer中，Fisher矩阵可以用来度量模型参数（权重）对损失函数的敏感度，从而衡量参数的重要性**。如果某个权重对应的Fisher信息矩阵元素的值很大，说明该权重对损失函数的变化非常敏感，即该权重在模型训练中起到了重要的作用** 。比如在处理复杂语义理解的任务时，某些负责捕捉关键语义信息的权重，其对应的Fisher矩阵元素值可能较大。
- 表示权重不确定性：Fisher矩阵的逆矩阵可以近似表示参数估计的协方差矩阵，反映了模型权重的不确定性。较小的协方差意味着权重估计更准确，模型对这些权重的信心更高；反之，较大的协方差表示权重的不确定性较大。
- 辅助权重更新 ：在一些优化算法中，Fisher矩阵用于计算参数更新的步长。例如在自