LoRA中黑塞矩阵、Fisher信息矩阵是什么

LoRA中黑塞矩阵、Fisher信息矩阵是什么

1. 三者的核心概念

• 黑塞矩阵（Hessian）
  二阶导数矩阵，用于优化问题中判断函数的凸性（如牛顿法），或计算参数更新方向（如拟牛顿法）。

• Fisher信息矩阵（Fisher Information Matrix, FIM）
  统计学中衡量参数估计的不确定性，反映数据中包含的关于参数的信息量。在机器学习中常用于自然梯度下降（Natural Gradient Descent）。

• LoRA（Low-Rank Adaptation）
  一种模型微调技术，通过低秩分解近似全连接层的权重矩阵，减少计算量和存储需求（如用于大语言模型微调）。

2. 三者的关系

（1）优化中的联系

• 黑塞矩阵与Fisher矩阵