论文《Inference for Iterated GMM Under Misspecification》的例子3

在论文《Inference for Iterated GMM Under Misspecification》的例子3中，基于Schennach（2007）的工作，探讨了一个非线性模型在矩条件误设下的行为。该模型涉及估计均值参数θ，但错误地假设方差为1，而真实方差可能不同。

例子3的含义

例子3考虑一个简单的非线性模型，其中观测值 $X_i$ 独立同分布（i.i.d.）于正态分布 $N({\theta }_0,{\sigma }^2)$，其中真实均值 ${\theta }_0=0$。矩函数定义为：
$$m(X_i,\theta )=\left(\begin{array}{c}{X}_i-\theta \\ (X_i-\theta {)}^2-1\end{array}\right)$$
第一项捕获均值误差，第二项捕获方差误差（假设方差为1）。模型误设程度定义为 $\alpha ={\sigma }^2-1$。如果 $\alpha =0$，模型正确；否则，矩条件不成立，因为第二项的期望不为零。在误设下，GMM估计量收敛到一个伪真实参数 ${\theta }_0^{\ast }$，而不是真实值 ${\theta }_0=0$。该例子展示了如何计算中心化的权重矩阵，并分析了迭代GMM映射的收缩性条件。关键点是，只有当误设程度 $\alpha >-1/3$（即 ${\sigma }^2>2/3$) 时，迭代才保证收敛，否则映射可能不收缩。

公式来源和推导

1. 权重矩阵 $W(\varphi )$ 的推导

权重矩阵 $W(\varphi )$ 是中心化的，定义为：
$$W(\varphi )=E[m(X_i,\varphi )m(X_i,\varphi {)}^{\prime }]-E[m(X_i,\varphi )]E[m(X_i,\varphi ){]}^{\prime }$$
其中 $m(X_i,\varphi )=\left(\begin{array}{c}{X}_i-\varphi \\ (X_i-\varphi {)}^2-1\end{array}\right)$。

首先，计算期望 $E[m(X_i,\varphi )]$。由于 $X_i\sim N(0,{\sigma }^2)$ 和 $\alpha ={\sigma }^2-1$，有：
$$E[m(X_i,\varphi )]=\left(\begin{array}{c}E[X_i]-\varphi \\ E[(X_i-\varphi {)}^2]-1\end{array}\right)=\left(\begin{array}{c}-\varphi \\ {\sigma }^2+{\varphi }^2-1\end{array}\right)=\left(\begin{array}{c}-\varphi \\ \alpha +{\varphi }^2\end{array}\right)$$

接下来，计算 $E[m(X_i,\varphi )m(X_i,\varphi {)}^{\prime }]$。令 $Y=X_i-\varphi$，则 $Y\sim N(-\varphi ,{\sigma }^2)$。需要计算：

• $E[Y^2]={\sigma }^2+{\varphi }^2$
• $E[Y^3]=-3\varphi {\sigma }^2-{\varphi }^3$（基于正态分布的三阶矩）
• $E[Y^4]=3{\sigma }^4+6{\sigma }^2{\varphi }^2+{\varphi }^4$（基于正态分布的四阶矩）

因此：
$$E[m(X_i,\varphi )m(X_i,\varphi {)}^{\prime }]=\left(\begin{array}{cc}E[Y^2]& E[Y^3]-E[Y]\\ E[Y^3]-E[Y]& E[Y^4]-2E[Y^2]+1\end{array}\right)$$
代入上述期望值：
$$=\left(\begin{array}{cc}{\sigma }^2+{\varphi }^2& -3\varphi {\sigma }^2-{\varphi }^3+\varphi \\ -3\varphi {\sigma }^2-{\varphi }^3+\varphi & 3{\sigma }^4+6{\sigma }^2{\varphi }^2+{\varphi }^4-2({\sigma }^2+{\varphi }^2)+1\end{array}\right)$$

然后，计算 $E[m]E[m{]}^{\prime }$：
$$E[m]E[m{]}^{\prime }=\left(\begin{array}{c}-\varphi \\ \alpha +{\varphi }^2\end{array}\right)\left(\begin{array}{cc}-\varphi & \alpha +{\varphi }^2\end{array}\right)=\left(\begin{array}{cc}{\varphi }^2& -\varphi (\alpha +{\varphi }^2)\\ -\varphi (\alpha +{\varphi }^2)& (\alpha +{\varphi }^2{)}^2\end{array}\right)$$

最后， subtract to get $W(\varphi )$:
$$W(\varphi )=E[m{m}^{\prime }]-E[m]E[m{]}^{\prime }$$
逐元素计算：

• (1,1)元素: $({\sigma }^2+{\varphi }^2)-{\varphi }^2={\sigma }^2=1+\alpha$
• (1,2)元素: $(-3\varphi {\sigma }^2-{\varphi }^3+\varphi )-(-\varphi (\alpha +{\varphi }^2))=-3\varphi {\sigma }^2-{\varphi }^3+\varphi +\varphi \alpha +{\varphi }^3=-2\varphi {\sigma }^2=-2\varphi (1+\alpha )$
• (2,2)元素: $(3{\sigma }^4+6{\sigma }^2{\varphi }^2+{\varphi }^4-2{\sigma }^2-2{\varphi }^2+1)-(\alpha +{\varphi }^2{)}^2$

展开 $(\alpha +{\varphi }^2{)}^2={\alpha }^2+2\alpha {\varphi }^2+{\varphi }^4$，并代入 $\alpha ={\sigma }^2-1$，简化后得:
$$2{\sigma }^4+4{\sigma }^2{\varphi }^2=2(1+\alpha {)}^2+4(1+\alpha ){\varphi }^2$$
因此：
$$W(\varphi )=\left(\begin{array}{cc}1+\alpha & -2\varphi (1+\alpha )\\ -2\varphi (1+\alpha )& 2(1+\alpha )(1+\alpha +2{\varphi }^2)\end{array}\right)$$
行列式 $\det (W(\varphi ))=2(1+\alpha {)}^3\ne 0$ 对于 $\alpha >-1$，确保矩阵可逆。

2. GMM准则函数 $J(\theta ,\varphi )$ 的推导

GMM准则函数为：
$$J(\theta ,\varphi )=m(\theta {)}^{\prime }W(\varphi {)}^{-1}m(\theta )$$
其中 $m(\theta )=E[m(X_i,\theta )]=\left(\begin{array}{c}-\theta \\ \alpha +{\theta }^2\end{array}\right)$.

计算 $W(\varphi {)}^{-1}$。令 $A=1+\alpha$，则：
$$W(\varphi )=\left(\begin{array}{cc}A& -2\varphi A\\ -2\varphi A& 2A(A+2{\varphi }^2)\end{array}\right)$$
逆矩阵为：
$$W(\varphi {)}^{-1}=\frac{1}{\det (W)}\left(\begin{array}{cc}2A(A+2{\varphi }^2)& 2\varphi A\\ 2\varphi A& A\end{array}\right)=\left(\begin{array}{cc}\frac{A+2{\varphi }^2}{A^2}& \frac{\varphi }{A^2}\\ \frac{\varphi }{A^2}& \frac{1}{2A^2}\end{array}\right)$$

然后计算 $J(\theta ,\varphi )=m(\theta {)}^{\prime }W(\varphi {)}^{-1}m(\theta )$。通过代数展开（过程繁琐），得到：
$$J(\theta ,\varphi )=\frac{{\theta }^4-4\varphi {\theta }^3+2(2(1+\alpha )+2{\varphi }^2-1){\theta }^2-4\alpha \varphi \theta +{\alpha }^2}{2(1+\alpha {)}^2}$$
这个表达式是通过将 $m(\theta )$ 和 $W(\varphi {)}^{-1}$ 代入并展开二次型得到的。具体步骤涉及矩阵乘法和对 $\theta$ 的多项式整理。

3. 迭代GMM映射 $g(\varphi )$ 和收缩性

迭代GMM映射定义为：
$$g(\varphi )=\arg \underset{\theta }{\min }J(\theta ,\varphi )$$
由于 $J(\theta ,\varphi )$ 是 $\theta$ 的四次函数，最小化需要通过数值方法求解。论文通过隐函数定理分析 $g(\varphi )$ 的导数：
$$\frac{\partial g(\varphi )}{\partial \varphi }=-{\left(\frac{{\partial }^{2}J}{\partial {\theta }^2}{|}_{\theta =g(\varphi )}\right)}^{-1}\frac{{\partial }^{2}J}{\partial \theta \partial \varphi }{|}_{\theta =g(\varphi )}$$
并通过数值验证发现，当 $\alpha >-1/3$ 时，$\left|\frac{\partial g(\varphi )}{\partial \varphi }\right|<1$，即 $g(\varphi )$ 是收缩映射，保证迭代收敛。否则，对于 $\alpha \le -1/3$，可能不收敛。

4. 固定点和误设界限

固定点满足 $g(\varphi )=\varphi$。当 ${\theta }_0=0$，计算 $J(0,0)$:
$$J(0,0)=\frac{{\alpha }^2}{2(1+\alpha {)}^2}$$
如果 $\alpha \le -1/3$，则 $J(0,0)\ge \frac{1}{8}$。因此，误设程度较大时，准则函数值有下界，假设1.6（轻微误设）需要限制 $\alpha >-1/3$ 以确保迭代收敛。

总结

例子3展示了在非线性矩条件下，迭代GMM的收敛性依赖于误设程度。只有当方差误设较小（${\sigma }^2>2/3$) 时，迭代才保证收敛。否则，可能需要使用稳健推断方法。