LORA 中的 梯度外积是什么意思； 方差和协方差的实际含义：衡量变量的离散程度和变量间的线性相关性
LORA 中的 梯度外积是什么意思
目录
-
- LORA 中的 梯度外积是什么意思
-
- **一、梯度外积的定义**
- **二、示例说明**
-
- **步骤1：计算单样本梯度**
- **步骤2：计算梯度外积**
- **三、梯度外积的作用**
- **四、总结**
- 方差和协方差的实际含义：衡量变量的离散程度和变量间的线性相关性
-
- **一、方差（Variance）**
-
- **含义**
- **数学公式**
- **示例**
- **二、协方差（Covariance）**
-
- **含义**
- **数学公式**
- **示例**
- **三、方差与协方差的对比**
- **四、梯度外积中的方差与协方差**
- **五、总结**
梯度外积（Gradient Outer Product）是向量外积在梯度计算中的具体应用，其核心是通过向量乘积描述参数之间的二阶统计关系。以下是详细解释和示例：
一、梯度外积的定义
对于一个向量 v ∈ R n \mathbf{v} \in \mathbb{R}^n v