广义矩估计随机近似中1.2和2.1的差异

1.2和2.1的差异

1.2节的S2SLS和2.1节的SGMM虽然公式相似，但存在本质差异，我通过三个维度解析：

---

1. 算法目标对比

维度	1.2节 S2SLS	2.1节 SGMM
统计目标	一致性估计（非最优）	渐近有效估计（达到Cramér-Rao下界）
权重矩阵	$W_i\approx (\mathbb{E}[z_i{z}_i^{\prime }]{)}^{-1}$	$W_i\approx {\Omega }^{-1}=(\mathbb{E}[g_i{g}_i^{\prime }]{)}^{-1}$
计算复杂度	低（$O(d_g^2)$）	高（需两阶段设计）

---

2. 样本分割的统计必要性

为什么必须分割样本？

• 根本矛盾：
  最优权重 $W={\Omega }^{-1}=(\mathbb{E}[g_i{g}_i^{\prime }]{)}^{-1}$ 依赖残差 $g_i=z_i(y_i-x_i^{\prime }\beta )$
  → 但 $\beta$ 本身待估计 → 循环依赖
• 解决方案：
  样本分割打破循环：
  1. 第一阶段（${\mathbb{S}}_1$）：
     用S2SLS获得初步一致估计 ${\bar{\beta }}_{n_1}$
  2. 第二阶段（${\mathbb{S}}_2$）：
     用冻结的 ${\bar{\beta }}_{n_1}$ 计算残差 $g_i({\bar{\beta }}_{n_1})$
     → 构建在线权重 $W_i\to {\Omega }^{-1}$

分割比例的意义

• 条件 $n_1\to \infty$ 且 $n_1/n\to 0$：
  • $n_1\to \infty$：保证 ${\bar{\beta }}_{n_1}$ 的一致性
  • $n_1/n\to 0$：确保第二阶段主导渐近分布（效率不损失）

---

3. 关键公式解析：$g_i({\bar{\beta }}_{n_1})$

定义与性质

$$g_i({\bar{\beta }}_{n_1})=z_i(y_i-x_i^{\prime }{\bar{\beta }}_{n_1})$$

• 含义：用第一阶段估计量 ${\bar{\beta }}_{n_1}$ 计算的样本 $i$ 矩条件
• 是否更新？
  在第二阶段固定不变（即使 $i$ 增加）
• 为什么固定？
  若用当前 ${\beta }_{i-1}$ 会引入偏差（因 ${\beta }_{i-1}$ 依赖历史路径）

在 (5c)-(5d) 中的作用

公式	角色	数学形式
(5c)	构建标量 $m_i$	$m_i=n_0+i-1+\underset{\text{冻结残差的加权范数}}{\underbrace{g_i({\bar{\beta }}_{n_1}{)}^{\prime }{W}_{i-1}{g}_i({\bar{\beta }}_{n_1})}}$
(5d)	更新权重矩阵	$W_i\propto W_{i-1}\left[I-m_i^{-1}\underset{\text{冻结外积}}{\underbrace{g_i({\bar{\beta }}_{n_1})g_i({\bar{\beta }}_{n_1}{)}^{\prime }}}{W}_{i-1}\right]$

• 核心逻辑：
  通过冻结的 $g_i({\bar{\beta }}_{n_1})$，$W_i$ 收敛到 ${\Omega }^{-1}$（而非次优的 $(\mathbb{E}{z}_i{z}_i^{\prime }{)}^{-1}$）

---

4. 两阶段对比（公式级差异）

第一阶段（S2SLS）

• 权重更新（2c-d）：
  $m_i$ 依赖 $z_i^{\prime }{W}_{i-1}{z}_i$（工具变量自相关）
  → $W_i$ 估计 $(\mathbb{E}{z}_i{z}_i^{\prime }{)}^{-1}$
• 统计缺陷：
  当 $\text{Var}(u_i\mid z_i)$ 非常数（异方差）时非最优

第二阶段（SGMM）

• 权重更新（5c-d）：
  $m_i$ 依赖 $g_i({\bar{\beta }}_{n_1}{)}^{\prime }{W}_{i-1}{g}_i({\bar{\beta }}_{n_1})$（条件异方差感知）
  → $W_i$ 估计 ${\Omega }^{-1}=(\mathbb{E}[u_i^2{z}_i{z}_i^{\prime }]{)}^{-1}$
• 效率保证：
  即使存在异方差，估计量仍渐近有效

---

为何需要如此复杂设计？

统计视角

• GMM 的最优性定理：
  权重 $W={\Omega }^{-1}$ 时估计量方差最小
• 在线学习约束：
  $\Omega$ 依赖未知 $\beta$ → 需用预估计 ${\bar{\beta }}_{n_1}$ 逼近

计算视角

方案	计算可行性	统计效率
直接在线估计 $\Omega$	不可行	-
两阶段 SGMM	可行	最优

---

总结：设计哲学

1. 分而治之：
   用第一阶段（大样本低效估计）为第二阶段提供“锚点” ${\bar{\beta }}_{n_1}$
2. 效率解锁：
   第二阶段用冻结残差在线构建最优权重 $W_i\to {\Omega }^{-1}$
3. 渐近无损：
   $n_1/n\to 0$ 确保第一阶段不影响最终效率

这种设计是在线学习与统计最优性的黄金交点——它证明：通过精心设计的样本分割和冻结策略，流式算法也能达到离线GMM的统计效率极限。

---

以下是分阶段执行的精确步骤和冻结逻辑：

---

第一阶段：在线预热（子集 ${\mathbb{S}}_1$）

1. 更新范围：
   $i=1,2,\dots ,n_1$（遍历第一个子集 ${\mathbb{S}}_1$）
2. 更新规则：
   使用 S2SLS算法（公式2a-2e）在线逐样本更新：
   • ${\beta }_i$：参数估计（公式2a）
   • ${\Phi }_i$：工具变量-解释变量协方差（公式2b）
   • $W_i$：权重矩阵（公式2c-2d）
   • ${\bar{\beta }}_i$：Polyak平均（公式2e）
3. 输出结果：
   在 $i=n_1$ 时获得冻结值：
   $$\boxed{{\bar{\beta }}_{n_1}=\frac{1}{n_1}\sum _{j=1}^{n_1}{\beta }_j}$$

---

第二阶段：高效估计（子集 ${\mathbb{S}}_2$）

1. 更新范围：
   $i=n_1+1,\dots ,n$（遍历第二个子集 ${\mathbb{S}}_2$）
2. 关键冻结操作：
   对每个新样本 $(x_i,z_i,y_i)\in {\mathbb{S}}_2$：
   • 固定残差计算：
     $$g_i({\bar{\beta }}_{n_1})=z_i(y_i-x_i^{\prime }{\bar{\beta }}_{n_1})\text{(不再更新！)}$$
   • 权重更新（公式5c-5d）：
     $$\begin{array}{rl}{m}_i& =n_0+i-1+\underset{\text{固定值}}{\underbrace{g_i({\bar{\beta }}_{n_1}{)}^{\prime }{W}_{i-1}{g}_i({\bar{\beta }}_{n_1})}}\\ W_i& =\frac{n_0+i}{n_0+i-1}{W}_{i-1}\left[I-m_i^{-1}\underset{\text{固定外积}}{\underbrace{g_i({\bar{\beta }}_{n_1})g_i({\bar{\beta }}_{n_1}{)}^{\prime }}}{W}_{i-1}\right]\end{array}$$
3. 参数更新（公式5a, 5b, 5e）：
   • ${\beta }_i$：仍在线更新（依赖当前 $W_i$）
   • ${\Phi }_i$：仍在线更新（累积 $G_i$）
   • ${\bar{\beta }}_i$：Polyak平均（累积 ${\beta }_i$）

---

为什么必须冻结？

操作	原因	统计意义
冻结 ${\bar{\beta }}_{n_1}$	避免 $\beta$ 与 $W_i$ 的循环依赖	保证 $W_i\to {\Omega }^{-1}$
冻结 $g_i(\cdot )$	用一致估计 ${\bar{\beta }}_{n_1}$ 计算残差，而非路径依赖的 ${\beta }_{i-1}$	消除偏差，确保效率最优

---

示例说明（$n_1=1000,n=10^6$）

1. 第一阶段（$i=1$ 到 $1000$）：

   • 在线更新所有变量 $({\beta }_i,{\Phi }_i,W_i,{\bar{\beta }}_i)$
   • 结束时保存 ${\bar{\beta }}_{1000}$

2. 第二阶段（$i=1001$ 到 $10^6$）：

   • 对每个新样本：
     • 计算固定残差 $g_i=z_i(y_i-x_i^{\prime }{\bar{\beta }}_{1000})$
     • 更新 $W_i$（依赖冻结的 $g_i$）
     • 更新 ${\beta }_i,{\Phi }_i,{\bar{\beta }}_i$（依赖最新 $W_i$）
   • 最终输出 ${\bar{\beta }}_{10^6}$

---

设计必要性

1. 统计效率：
   冻结操作使 $W_i$ 收敛到最优权重 ${\Omega }^{-1}$（GMM理论要求）
2. 计算可行性：
   若在第二阶段更新 $g_i({\beta }_{i-1})$，需递归计算残差 → 破坏在线性
3. 路径无关性：
   冻结 ${\bar{\beta }}_{n_1}$ 确保权重更新不受 ${\beta }_i$ 随机波动影响

---

总结

第一阶段在线预热 → 冻结 ${\bar{\beta }}_{n_1}$ → 第二阶段用固定残差在线更新权重。
这是SGMM在不损失统计效率的前提下实现在线学习的核心创新。