高斯分布及其线性变换

高斯分布、高斯噪声及其可加性详解

1. 高斯分布（正态分布）

高斯分布是统计学和概率论中最重要的连续概率分布之一，描述了常见的"钟形"曲线。

核心特征：

• 钟形曲线：概率密度函数呈对称的钟形
• 集中趋势：大多数数据点聚集在平均值附近
• 衰减特性：离平均值越远的数据点出现的概率越低

数学定义：

随机变量 $X$ 服从均值为 $\mu$、方差为 ${\sigma }^2$ 的高斯分布，记作 $X\sim \mathcal{N}(\mu ,{\sigma }^2)$。

概率密度函数：
$$f(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

• $\mu$（均值）：决定分布中心位置
• ${\sigma }^2$（方差）：决定分布的离散程度

重要性（中心极限定理）：

大量相互独立的随机变量之和的分布会趋近于高斯分布。

应用实例：

• 测量误差（温度计读数、尺子测量）
• 人群的生理特征（身高、体重）
• 考试分数（大型、设计良好的考试）

2. 高斯噪声

高斯噪声是统计特性服从高斯分布的随机噪声。

核心特征：

• 随机性：每个噪声点的值是随机的
• 统计特性：噪声值的分布是高斯型的

数学表示（加性高斯白噪声）：

观测信号模型：
$$y=s+n$$
其中 $n\sim \mathcal{N}(0,{\sigma }^2)$

• 加性：噪声直接叠加在原始信号上
• 高斯：噪声值服从高斯分布
• 白噪声：不同时间点的噪声值不相关

实例：

• 图像中的高斯噪声：使图像看起来有颗粒感
• 音频中的高斯噪声：表现为持续的"嘶嘶"声

3. 高斯噪声的可加性

定义：

两个或多个独立的高斯随机变量之和，本身也是一个高斯随机变量。

数学表达：
如果：

• $X\sim \mathcal{N}({\mu }_X,{\sigma }_X^2)$
• $Y\sim \mathcal{N}({\mu }_Y,{\sigma }_Y^2)$
• 且 $X$ 和 $Y$ 独立

那么：
$$Z=X+Y\sim \mathcal{N}({\mu }_X+{\mu }_Y,{\sigma }_X^2+{\sigma }_Y^2)$$

重要性：

1. 数学简便性：高斯分布叠加后形态不变
2. 现实世界建模：多噪声源系统的总噪声仍是高斯噪声
3. 信号处理算法基石：卡尔曼滤波器等技术的基础

示例：

仪器A噪声：$n_A\sim \mathcal{N}(0,1^2)$
仪器B噪声：$n_B\sim \mathcal{N}(0,2^2)$
总噪声：$n_{total}=n_A+n_B\sim \mathcal{N}(0,5)$

---

高斯分布的线性变换详解

1. 线性变换定义

对随机变量 $X$ 进行缩放和平移的组合操作：
$$Y=aX+b$$
其中：

• $a$：缩放因子（常数）
• $b$：平移量（常数）

2. 线性变换定理

如果 $X\sim \mathcal{N}(\mu ,{\sigma }^2)$，则：
$$Y=aX+b\sim \mathcal{N}(a\mu +b,a^2{\sigma }^2)$$

推导：

均值变换：
$${\mu }_Y=E[Y]=E[aX+b]=aE[X]+b=a\mu +b$$

方差变换：
$${\sigma }_Y^2=\text{Var}(Y)=\text{Var}(aX+b)=a^2\text{Var}(X)=a^2{\sigma }^2$$

分布形态：线性变换不改变正态分布的形状。

3. 重要特例与应用

特例1：标准化（Standardization）

公式：
$$Z=\frac{X-\mu }{\sigma }$$

结果：
$$Z\sim \mathcal{N}(0,1)$$

特例2：尺度变换和单位转换

身高 $X\sim \mathcal{N}(1.75,0.1^2)$ 米 → $Y=100X$ 厘米
结果：$Y\sim \mathcal{N}(175,10^2)$

特例3：线性组合

考试分数 $X\sim \mathcal{N}(70,15^2)$
调分：$Y=1.2X+10$
结果：$Y\sim \mathcal{N}(94,18^2)$

4. 多元正态分布的线性变换

多元正态分布向量：$\mathbf{X}\sim \mathcal{N}(\mathbf{\mu },\Sigma )$

线性变换：$\mathbf{Y}=A\mathbf{X}+\mathbf{b}$

结果：
$$\mathbf{Y}\sim \mathcal{N}(A\mathbf{\mu }+\mathbf{b},A\Sigma A^T)$$

应用：主成分分析（PCA）、线性判别分析（LDA）等机器学习算法。

总结表

操作	变换公式	新分布	新均值	新方差
一元线性变换	$Y=aX+b$	$\mathcal{N}(a\mu +b,a^2{\sigma }^2)$	$a\mu +b$	$a^2{\sigma }^2$
标准化	$Z=\frac{X-\mu }{\sigma }$	$\mathcal{N}(0,1)$	$0$	$1$
多元线性变换	$\mathbf{Y}=A\mathbf{X}+\mathbf{b}$	$\mathcal{N}(A\mathbf{\mu }+\mathbf{b},A\Sigma A^T)$	$A\mathbf{\mu }+\mathbf{b}$	$A\Sigma A^T$

核心要点：正态分布在线性变换下是"封闭的"，这一性质使其在数学上易于处理，广泛应用于科学和工程领域。