p-value与e-value

P-Value & E-value

一、什么是P-value & E-value

P-value是假设检验（hypothesis test）下最常用的指标。其定义为：在原假设（$\text{Null Hypothesis}，H_0$）为真前提下，样本观测结果或更极端结果的概率。

通俗一点来说，如果原假设（$H_0$）是真的,那么我们得到现有手头上数据的概率应该是多大。举个例子，令原假设$H_0:\text{一枚硬币是公平的}$，那我们得到手头上这个样本数据（假设样本数据是9个正面和1个反面）的可能性有多大。

• P-value很小（通常小于一个预设的显著性水平$\alpha$）：说明在原假设下，观测到的数据是非常罕见的。因此，我们有理由拒绝原假设。
• P-value很大（反之）：说明在原假设下，观测到的数据并不意外。因此我们不需要拒绝原假设，即接受原假设，认为原假设是正确的。

E-value是一种较新的用于衡量统计证据的指标。它的定义是：一个非负随机变量$E$，在原假设（$H_0$）成立的情况下，满足
$$\mathbb{E}(E)\le 1$$
简单的来说，E-value表示你手里的数据在多大程度上（多少倍）支持备择假设而不是零假设。

• E-value很小 (例如 e > 10)：可以被看作是反对原假设的有力证据。想象一下，你参与一个游戏，规则是如果原假设为真，你平均只能拿回1块钱或更少。但你实际玩了一次就拿到了10块钱，这会让你强烈怀疑“游戏规则”（即原假设）的真实性。
• E-value很大 (例如 e < 1)：表示证据不支持拒绝原假设。

二、关于E-value的解释

在简单讲完E-value的定义之后，我们来讲一下几个容易混淆的知识点。我们首先举一个简单计算E-value的例子。

**场景：**我们想检验一枚硬币是否是公平的。我们怀疑它偏向于正面。

假设：

• 原假设 $H_0$：硬币是公平的，即扔出正面的概率 p=0.5。
• 备择假设$H_1$:硬币偏向正面，我们选择一个具体的备择点，比如 p=0.8。

实验： 我们扔硬币5次，观测到4次正面（H）和1次反面（T）。

---

我们的核心目标就是构造E-value。一个非常常见的构建e变量的方法是使用似然比（Likelihood Ratio）。我们将备择假设下的似然（Likelihood）除以原假设下的似然。

1. 计算原假设 $H_0$ 下的似然 $L_0$:

   观测到4正1反的概率是:
   $$L_0=P(\text{数据}|H_0)=(\genfrac{}{}{0ex}{}{5}{4})\cdot (0.5{)}^4\cdot (0.5{)}^1=5\cdot 0.0625\cdot 0.5=0.15625$$

2. 计算备择假设 $H_1$ 下的似然 $L_1$:
   观测到4正1反的概率是:
   $$L_1=P(\text{数据}|H_1)=(\genfrac{}{}{0ex}{}{5}{4})\cdot (0.8{)}^4\cdot (0.2{)}^1=5\cdot 0.4096\cdot 0.2=0.4096$$

3. 定义e变量E并计算其观测值(e-value):
   我们的e变量E就是似然比 $E=\frac{L_1}{L_0}$。
   对于我们观测到的数据，其e-value计算如下:
   $$e-value=\frac{L_1}{L_0}=\frac{0.4096}{0.15625}\approx 2.62$$

结果：我们得到的e-value约为2.62。这个值大于1，提供了反对原假设（硬币是公平的）的证据。我们可以将其解释为：相对于“硬币公平”的假设，我们的观测数据在“硬幣正面概率为0.8”的假设下，可能性是前者的2.62倍。

2.1 E-value (观测值) vs. E-variable (随机变量) 的期望

• e-value：是我们根据一次具体的实验数据（例如“5次投掷，4正1反”）计算出来的一个具体的数值。在我们的例子里，这个数值就是2.62。
• e-variable：是一个随机变量，是一个函数或规则。它本身不是一个固定的数，它的值取决于实验的结果。对于“5次投掷”这个实验，它所有可能的结果（0正5反, 1正4反, …, 5正0反）都会分别对应一个e-value。

2.2 对每个问题都重新证明$\mathbb{E}(E)\le 1$吗？

答案是不需要。我们只要使用似然比检验的方法来计算E-value，那我们可以确保这个E-value的期望是一定等于1。例证如下：

期望的计算公式为：$E_{H_0}[E]=\sum$ 所有可能结果 $E($结果$)\cdot P($结果$|H_0)$

其中，$E($结果$)=\frac{P(结果|H_1)}{P(结果|H_0)}$

所以，$E_{H_0}[E]=\sum$ 所有可能结果 $\frac{P(结果|H_1)}{P(结果|H_0)}\cdot P(结果|H_0)$

我们可以看到，$P($结果$|H_0)$ 这一项可以被约掉：

$E_{H_0}[E]=\sum$ 所有可能结果 $P(结果|H_1)$

这个公式的含义是：在原假设 $H_0$ 下对 $E$ 变量求期望，等于把备择假设 $H_1$ 下所有可能结果的概率加起来。而根据概率公理，任何一个概率分布，其所有可能结果的概率之和必然等于1。

因此：

$$E_{H_0}[E]=1$$
这就证明了我们构造的这个随机变量满足 $E[E]\le 1$ 的条件，它确实是一个合格的 $E$ 变量。

三、E-value与P-value之间的关系

首先我们对E-value定义了以下式子：
$$\mathbb{E}(E)\le 1$$
我们利用马尔可夫不等式（不等式结构如下）：

$$P(X\ge a)\le \frac{E[X]}{a}$$
于是得到：
$$\mathrm{Pr}(E\ge 1/\alpha )\le \alpha \mathbb{E}[E]\le \alpha$$
最后推出：
$$\mathrm{Pr}(E<1/\alpha )\ge 1-\alpha$$
完整公式如下：
$$\mathrm{Pr}(E<1/\alpha )=1-\mathrm{Pr}(E\ge 1/\alpha )\ge 1-\alpha \mathbb{E}[E]\ge 1-\alpha$$
其中：

• $P(E<1/\alpha )$: 表示e变量E的值小于某个阈值$1/\alpha$的概率。
• $\ge 1-\alpha$: 整个公式的核心结论是，这个概率至少是$1-\alpha$。

对于公式（6）而言，我们可以理解成$e$变量的值不太可能变得非常大。具体来说，它大于等于$1/\alpha$的概率不会超过$\alpha$（即$P(E⩾1/\alpha )⩽\alpha$）。