稳健标准误

1. 背景知识

对于线性回归：
$$y_i=\beta x_i+{\epsilon }_i$$
其中：
$$b=\frac{\sum x_i{y}_i}{\sum x_i^2}=\beta +\frac{\frac{1}{n}\sum x_i{\epsilon }_i}{\frac{1}{n}\sum x_i^2}$$

• 对于上式的分子来说：
  由于$E(\frac{1}{n} \sum x_{i} \varepsilon_{i}) =0 $ 和 $Var(\frac{1}{n} \sum x_{i} \varepsilon_{i}) = \frac{1}{n^{2}} Var(\sum x_{i} \varepsilon_{i}) $
  $$\frac{1}{n}\sum x_i{\epsilon }_i{\to }_{d}N(0,\frac{1}{n^2}Var(\sum x_i{\epsilon }_i))$$

• 对于上式的分母来说：
  $$\frac{1}{n}\sum x_i^2{\to }_{p}E{x}_i^2$$

所以$$b{\to }_{d}N(\beta ,\frac{1}{n^2}\frac{Var(\sum x_i{\epsilon }_i)}{(E{x}_i^2{)}^2})$$
系数估计标准误s.e(b)的正确形式取决于 $x_i{\epsilon }_i$之间是否相关。

2.三种不同的标准误

2.1 同方差标准误 （${\sigma }^2$）

• 当假定 $\text{Var}\left({\epsilon }_i|x_i\right)={\sigma }^2$ 为常数，且 $\text{Cov}({\epsilon }_i,{\epsilon }_j)=0$ 时，相应的标准误称为同方差标准误。这个假设太强，通常不采用。
• 假定所有扰动是相互独立、同方差的;
  $$\frac{1}{n^2}\text{Var}\left(\sum x_i{\epsilon }_i\right)=\frac{1}{n}{\sigma }^2\mathbb{E}{x}_i^2$$
  $$\text{Var}(b)=\frac{{\sigma }^2}{n\mathbb{E}{x}_i^2},\widehat{\text{Var}(b)}=\frac{s^2}{\sum x_i^2}$$

2.2 异方差稳健标准误 （${\epsilon }_i^2$）

• 当假定 $\text{Var}({\epsilon }_i|x_i)$ 可以各不相同，且 $\text{Cov}({\epsilon }_i,{\epsilon }_j)=0$ 时，相应的标准误称为异方差稳健标准误。
• 允许扰动有不同方差，但仍假定它们是相互独立的；
  $$\frac{1}{n^2}\text{Var}\left(\sum x_i{\epsilon }_i\right)=\frac{1}{n}\mathbb{E}\left(x_i^2{\epsilon }_i^2\right)$$
  $$\text{Var}(b)=\frac{1}{n}\frac{\mathbb{E}\left(x_i^2{\epsilon }_i^2\right)}{{\left(\mathbb{E}{x}_i^2\right)}^2},\widehat{\text{Var}(b)}=\frac{\sum x_i^2{e}_i^2}{{\left(\sum x_i^2\right)}^2}$$

2.3 聚类稳健标准误

• 当 $\text{Cov}({\epsilon }_i,{\epsilon }_j)\ne 0$ 时，需要进一步假定扰动项在同一类内可能相关，但在不同类间不相关，此时称之为聚类稳健标准误。
• 是在数据中存在**组内相关性（intra-cluster correlation）**时对标准误差进行修正的一种方法。

2.4 一些注意事项

类型	对异方差有效	对组内相关有效	对组间相关有效
同方差标准误	❌	❌	❌
异方差稳健标准误	✅	❌	❌
聚类稳健标准误	✅	✅	❌

• 大样本理论在类的数目足够大时成立。（在现有研究中，有的认为类≥30，有的认为≥52。在类的数目比较小的情况下，可采用自抽样的方法）

• 聚类稳健标准误通常比异方差稳健标准误更大，采用聚类稳健标准误之后，系数估计的统计显著性更难得到。（一般来说，不加cluster追究不大，但不加robust的影响很大）

• 研究者实际无从知道观测个体在哪个层面上互相相关，（1）将类定义得过小，类间不相关的条件不容易满足，相应的标准误估计将不是真实的标准误的一致估计；（2）将类定义得过大，标准误估计的一致性虽然得以保证，但毕竟标准误的形式只有当类的数目足够大时才成立，基于此的标准误估计可能对系数估计量的有限样本标准误近似得很差(有限样本偏误大)。

• 异方差稳健标准误可以看作每个个体独自为一类的“聚类稳健标准误”。合适的聚类层级需要依研究情境和数据特征而异。一个经验法则是：当核心解释变量X的数据层级高于被解释变量Y时，标准误应聚类到核心解释变量X所在层级。

• 固定效应的类别划分 vs 标准误的聚类层级

  • 固定效应的类别划分得越细致，结果越稳健。这个稳健性是针对因果识别而言，因为固定效应控制下的识别假设是，固定效应所定义的类别内部，核心解释变量和扰动项不相关，所以固定效应的类别划分得越细致，识别假设就越容易成立。
  • 相反，标准误的聚类层级越高，结果越稳健。这个稳健性是针对统计推断而言——稳健标准误是否可信，即其背后关于观测个体的相关性假设是否可信。

3. 举例说明

聚类层级越高，所隐含的假设越弱，标准误估计更稳健。
聚类层级越高，等于允许的数据中有更多未观测的结构性相关性存在，从而降低模型对“独立性”的依赖，结果更稳健，但也更保守。
有企业、城市、省份三个层级，下面分别介绍聚类到城市和省份的差别。

3.1 城市层面

• 考虑 ${\epsilon }_{icp}$，$i$ 表示企业，$c$ 表示城市，$p$ 表示省份，如果标准误聚类到城市层面，所隐含的对扰动项方差协方差结构的假设是
  （样本量为8的一个横截面data，2个省份，每个省份有2个城市）
  （不同城市之间是不相关的，相同城市之间是相关的）

$$\left(\begin{array}{ccccccccc}& {\epsilon }_{111}& {\epsilon }_{211}& {\epsilon }_{321}& {\epsilon }_{421}& {\epsilon }_{532}& {\epsilon }_{632}& {\epsilon }_{742}& {\epsilon }_{842}\\ {\epsilon }_{111}& \times & \times & & & & & & \\ {\epsilon }_{211}& \times & \times & & & & & & \\ {\epsilon }_{321}& & & \times & \times & & & & \\ {\epsilon }_{421}& & & \times & \times & & & & \\ {\epsilon }_{532}& & & & & \times & \times & & \\ {\epsilon }_{632}& & & & & \times & \times & & \\ {\epsilon }_{742}& & & & & & & \times & \times \\ {\epsilon }_{842}& & & & & & & \times & \times \end{array}\right)$$

3.2 省份层面

• 如果标准误聚类到省份层面，所隐含的对扰动项方差协方差结构的假设是

$$\left(\begin{array}{ccccccccc}& {\epsilon }_{111}& {\epsilon }_{211}& {\epsilon }_{321}& {\epsilon }_{421}& {\epsilon }_{532}& {\epsilon }_{632}& {\epsilon }_{742}& {\epsilon }_{842}\\ {\epsilon }_{111}& \times & \times & \times & \times & & & & \\ {\epsilon }_{211}& \times & \times & \times & \times & & & & \\ {\epsilon }_{321}& \times & \times & \times & \times & & & & \\ {\epsilon }_{421}& \times & \times & \times & \times & & & & \\ {\epsilon }_{532}& & & & & \times & \times & \times & \times \\ {\epsilon }_{632}& & & & & \times & \times & \times & \times \\ {\epsilon }_{742}& & & & & \times & \times & \times & \times \\ {\epsilon }_{842}& & & & & \times & \times & \times & \times \end{array}\right)$$

3.3 双向聚类

• 考虑数据 ${\epsilon }_{icd}$，其中 $c$ 表示城市，$d$ 表示行业，此时同一城市内部不同个体的扰动项之间可能相关，同一行业内部不同个体的扰动项之间也可能相关，此时有必要使用双向聚类 (two-way clustering) 稳健标准误，其隐含的假设是
  （8个个体，2个城市，2个行业）

$$\left(\begin{array}{ccccccccc}& {\epsilon }_{111}& {\epsilon }_{211}& {\epsilon }_{312}& {\epsilon }_{412}& {\epsilon }_{521}& {\epsilon }_{621}& {\epsilon }_{722}& {\epsilon }_{822}\\ {\epsilon }_{111}& \times & \times & \times & \times & \times & \times & & \\ {\epsilon }_{211}& \times & \times & \times & \times & \times & \times & & \\ {\epsilon }_{312}& \times & \times & \times & \times & & & \times & \times \\ {\epsilon }_{412}& \times & \times & \times & \times & & & \times & \times \\ {\epsilon }_{521}& \times & \times & & & \times & \times & \times & \times \\ {\epsilon }_{621}& \times & \times & & & \times & \times & \times & \times \\ {\epsilon }_{722}& & & \times & \times & \times & \times & \times & \times \\ {\epsilon }_{822}& & & \times & \times & \times & \times & \times & \times \end{array}\right)$$

• 聚类到行业✖城市层面，注意，这里不如双向聚类标准误稳健哦。
  $$\left(\begin{array}{ccccccccc}& {\epsilon }_{111}& {\epsilon }_{211}& {\epsilon }_{312}& {\epsilon }_{412}& {\epsilon }_{521}& {\epsilon }_{621}& {\epsilon }_{722}& {\epsilon }_{822}\\ {\epsilon }_{111}& \times & \times & & & & & & \\ {\epsilon }_{211}& \times & \times & & & & & & \\ {\epsilon }_{312}& & & \times & \times & & & & \\ {\epsilon }_{412}& & & \times & \times & & & & \\ {\epsilon }_{521}& & & & & \times & \times & & \\ {\epsilon }_{621}& & & & & \times & \times & & \\ {\epsilon }_{722}& & & & & & & \times & \times \\ {\epsilon }_{822}& & & & & & & \times & \times \end{array}\right)$$

3.4其他聚类标准误

• 聚类稳健标准误的构造思路是定义“类”，类内相关，类外不相关。
• 一种稳健标准误的构造思路是定义“距离”，两个观测单位的相关性随距离衰减。这方面最典型的例子是适用于时间序列数据的 Newey-West 标准误，假定两期之间的自相关性和间隔的期数负相关。
• Conley (1999, JoE) 类似地构造了反映横截面相关性 (cross-sectional dependence) 的稳健标准误。根据研究情境不同，两个横截面观测单位之间的相关性可能与地理距离有关，也可能与经济距离有关。