切比雪夫不等式的理解以及推导【超详细笔记】

参考教程

一个视频，彻底理解切比雪夫不等式

一、意义

1. 正态分布的 3σ 法则

• 不等式：切比雪夫不等式 P{∣X−EX∣≥ε}≤DXε2P\{|X - EX| \geq \varepsilon\} \leq \frac{DX}{\varepsilon^2}P{∣X−EX∣≥ε}≤ε2DX​，用于描述随机变量偏离期望的概率上界
• 法则：正态分布的 3σ 法则
  
• 分布表示：正态分布 $N(\mu ,{\sigma }^2)$（图中标注对应分布形态 ）
• 概率占比：
  • $\mu \pm \sigma$ 区间概率约 68.2%
  • $\mu \pm 2\sigma$ 区间概率约 95.4%
  • $\mu \pm 3\sigma$ 区间概率约 99.7%

2. 不等式的含义

切比雪夫不等式公式的另一种形式：

P{∣X−EX∣<ε}≥1−DXε2P\{|X - EX| < \varepsilon\} \geq 1 - \frac{DX}{\varepsilon^2} P{∣X−EX∣<ε}≥1−ε2DX​

（其中 ( X ) 是随机变量，( EX ) 为其期望，( DX ) 为方差，( \varepsilon ) 是任意正数 ）

$|X-EX|$就是X到均值的距离
这个公式就是对$|X-EX|<\epsilon$这件事的概率做估计

3. 不等式的意义

• 当 $\epsilon$ = $\sigma$ 时：
  P{∣X−EX∣<σ}≥1−σ2σ2=0P\{|X - EX| < \sigma\} \geq 1 - \frac{\sigma^2}{\sigma^2} = 0 P{∣X−EX∣<σ}≥1−σ2σ2​=0

• 当 $\epsilon$ = $2\sigma$ 时：
  P{∣X−EX∣<2σ}≥1−σ2(2σ)2=1−14=34=75%P\{|X - EX| < 2\sigma\} \geq 1 - \frac{\sigma^2}{(2\sigma)^2} = 1 - \frac{1}{4} = \frac{3}{4} = 75\% P{∣X−EX∣<2σ}≥1−(2σ)2σ2​=1−41​=43​=75%
  由此可见切比雪夫的估计比较保守

假如随便画一个分布，求阴影部分概率，切比雪夫不等式告诉我们这个概率一定大于等于75%，这就是其高明之处

二、不等式的证明

1. 马尔科夫不等式

• 公式：P{Y≥a}≤EYaP\{ Y \geq a \} \leq \frac{EY}{a}P{Y≥a}≤aEY​ ($Y$ 取非负 ）
  

马尔可夫不等式证明($Y$ 为非负随机变量 ）

1. 由期望定义，$Y$ 的数学期望：
   $$EY={\int }_0^{+\infty }y\cdot f(y)dy$$

2. 因$Y\ge 0$，且积分区间可拆分，当$y\ge a$ 时$y\ge a$，故：
   $$EY\ge {\int }_a^{+\infty }y\cdot f(y)dy\ge {\int }_a^{+\infty }a\cdot f(y)dy$$

3. 化简右侧积分：
   ∫a+∞a⋅f(y)dy=a⋅∫a+∞f(y)dy=a⋅P{Y≥a}\int_{a}^{+\infty} a \cdot f(y) \, dy = a \cdot \int_{a}^{+\infty} f(y) \, dy = a \cdot P\{ Y \geq a \}∫a+∞​a⋅f(y)dy=a⋅∫a+∞​f(y)dy=a⋅P{Y≥a}

4. 综上，整理得：
   P{Y≥a}≤EYaP\{ Y \geq a \} \leq \frac{EY}{a}P{Y≥a}≤aEY​

2. 切比雪夫不等式推导

1. 基础：马尔可夫不等式
   P{Y≥a}≤EYaP\{ Y \geq a \} \leq \frac{EY}{a}P{Y≥a}≤aEY​
   （其中 ( Y ) 为非负随机变量 ）

2. 变量代换：
   令 $Y=(X-EX{)}^2$，$a={\epsilon }^2$

3. 代入推导：

   • 第一步推导：
     $$P\{(X-EX{)}^2\ge {\epsilon }^2\}\le \frac{E\left[(X-EX{)}^2\right]}{{\epsilon }^2}$$
   • 因 $$E\left[(X-EX{)}^2\right]=DX$$（方差定义 ），且 $$(X-EX{)}^2\ge {\epsilon }^2\iff |X-EX|\ge \epsilon$$ ，进一步得：
     P{∣X−EX∣≥ε}≤DXε2P\{ |X - EX| \geq \varepsilon \} \leq \frac{DX}{\varepsilon^2}P{∣X−EX∣≥ε}≤ε2DX​