高斯分布的贝叶斯参数估计（Bayesian estimation）

贝叶斯参数估计：高斯情况

对高斯正态密度函数的情况，用贝叶斯估计方法来计算 $\mathbf{\theta }$ 的后验概率密度函数 $p(\mathbf{\theta }\mid \mathcal{X})$ 和设计分类器所需的概率密度函数 $p(\mathbf{x}\mid \mathcal{X})$ⓐ 。

ⓐ 注意这里的 $p(x\mid \mathcal{X})$ 实际上为 $p(x\mid \omega ,\mathcal{X})$。

单变量情况：$p(\mu \mid \mathcal{X})$

给定一个数据集 X={x1,x2,⋯ ,xn}{\mathcal X} = \{x_1, x_2, \cdots, x_n\}X={x1​,x2​,⋯,xn​}，它被解释为：有 $n$ 个随机变量 $X_1,X_2,\cdots ,X_n$，它们是 i.i.d. 的，并且 $x_i$ 是从 $X_i$ 中抽样得到的。

如果假设 $X_i$ 是正态分布的，那么这些随机变量将服从相同的正态分布 $N(\mu ,{\sigma }^2)$。为了简化问题，假设 $\sigma$ 是已知的，只有均值 $\mu$ 未知。

先处理一维的情况，有
$$p(x\mid \mu )=N(x;\mu ,{\sigma }^2)\text{\hspace{1em}(26)}$$
其中唯一的未知数是均值 $\mu$。

由于均值 $\mu$是一个随机变量，服从某一个已知的分布。假设均值 $\mu$的先验分布也是正态分布：
$$p(\mu )=N(\mu ;{\mu }_0,{\sigma }_0^2)\text{\hspace{1em}(27)}$$
其中的 ${\mu }_0$ 和 ${\sigma }_0^2$ 都是已知的。不严格地说，${\mu }_0$ 代表了对均值 $\mu$ 的最好的先验估计，而 ${\sigma }_0^2$ 则表示了对这个估计的不确定程度。认为均值 $\mu$ 服从正态分布这一假设能够在数学推导上简化运算（式 (27)）。

在选择均值 $\mu$ 的先验概率密度函数以后，能够这样来理解问题：设想从均值 $\mu$ 的分布 $p(\mu )$ 中选取一个具体的 $\mu$ 值，一旦这个 $\mu$ 值被选定，它成为 $\mu$ 的真实值。由于已经认为 $p(x\mid \mathbf{\theta })$ 是完全已知的，即完全确定了变量 $x$ 的概率密度函数。然后，再从变量 $x$ 的概率密度函数中，独立地抽取 $n$ 个样本 $x_1,x_2,\cdots ,x_n$。记 X={x1,x2,⋯ ,xn}{\mathcal X} = \{x_1, x_2, \cdots, x_n\}X={x1​,x2​,⋯,xn​}。只需要估计 $\mu$ ，应用贝叶斯公式，有

$$\begin{array}{rl}p(\mu \mid \mathcal{X})& =\frac{p(\mathcal{X}\mid \mu )p(\mu )}{\int p(\mathcal{X}\mid \mu )p(\mu )\mathrm{d}\mu }\\ & =\alpha p(\mathcal{X}\mid \mu )p(\mu )\\ & =\alpha \prod _{k=1}^{n}p(x_k\mid \mu )p(\mu )\end{array}\text{\hspace{1em}(28)}$$

其中 $\alpha$ 是一个依赖于样本集 $\mathcal{X}$ 的归一化系数，这个系数不依赖于 $\mu$。这一公式说明了训练样本能如何影响对 $\mu$ 值的估计。它把先验概率密度 $p(\mu )$ 和后验概率密度 $p(\mu \mid \mathcal{X})$ 联系了起来。

因为 $p(x_k\mid \mu )=N(\mu ,{\sigma }^2)$，和 $p(\mu )=N({\mu }_0,{\sigma }_0^2)$，有

$$\begin{array}{rl}p(\mu \mid \mathcal{X})& =\alpha \prod _{k=1}^n\underset{p(x_k\mid \mu )}{\underbrace{\frac{1}{\sqrt{2\pi }\sigma }\exp \left[-\frac{1}{2}{\left(\frac{x_k-\mu }{\sigma }\right)}^2\right]}}\cdot \underset{p(\mu )}{\underbrace{\frac{1}{\sqrt{2\pi }{\sigma }_0}\exp \left[-\frac{1}{2}{\left(\frac{\mu -{\mu }_0}{{\sigma }_0}\right)}^2\right]}}\\ & ={\alpha }^{\prime }\exp \left[-\frac{1}{2}\left(\sum _{k=1}^n{\left(\frac{\mu -x_k}{\sigma }\right)}^2+{\left(\frac{\mu -{\mu }_0}{{\sigma }_0}\right)}^2\right)\right]\\ & ={\alpha }^{\prime \prime }\exp \left[-\frac{1}{2}\left[\left(\frac{n}{{\sigma }^2}+\frac{1}{{\sigma }_0^2}\right){\mu }^2-2\left(\frac{1}{{\sigma }^2}\sum _{k=1}^n{x}_k+\frac{{\mu }_0}{{\sigma }_0^2}\right)\mu \right]\right]\end{array}\text{\hspace{1em}(29)}$$

式中的不依赖于 $\mu$ 的那些因子都归入系数 $\alpha ,{\alpha }^{\prime },{\alpha }^{\prime \prime }$ 中。这样，发现 $p(\mu \mid \mathcal{X})$ 是一个指数函数，其中的指数部分为 $\mu$ 的二次型。即，$p(\mu \mid \mathcal{X})$ 实质上还是一个正态分布。因为这一事实对任意大小的样本集均成立，因此 $p(\mu \mid \mathcal{X})$ 在样本个数 $n$ 增加时仍保持正态分布。

当先验是正态分布，似然也是正态分布时，后验仍是正态分布。

$p(\mu \mid \mathcal{X})$和$p(\mu )$属于同类分布，称为共轭（conjugate）分布。

如果写成下面的形式：
$$p(\mu \mid \mathcal{X})=N({\mu }_n,{\sigma }_n^2)$$
即

$$p(\mu \mid \mathcal{X})=\frac{1}{\sqrt{2\pi }{\sigma }_n}\exp \left[-\frac{1}{2}{\left(\frac{\mu -{\mu }_n}{{\sigma }_n}\right)}^2\right]\text{\hspace{1em}(30)}$$

那么对式 (29) 和式 (30) 应用对应项相等的原则，可以求得 ${\mu }_n$ 和 ${\sigma }_n^2$：

$$\frac{1}{{\sigma }_n^2}=\frac{n}{{\sigma }^2}+\frac{1}{{\sigma }_0^2}\text{\hspace{1em}(31)}$$

和

$$\frac{{\mu }_n}{{\sigma }_n^2}=\frac{n}{{\sigma }^2}{\hat{\mu }}_{\text{ML}}+\frac{{\mu }_0}{{\sigma }_0^2}\text{\hspace{1em}(32)}$$

其中，${\hat{\mu }}_{\text{ML}}$ 是样本均值：

$${\hat{\mu }}_{\text{ML}}=\frac{1}{n}\sum _{k=1}^n{x}_k\text{\hspace{1em}(33)}$$

式 (31) 给出了后验方差 ${\sigma }_n^2$ 的表达式，表示后验分布的不确定性是先验不确定性和数据不确定性的调和平均。
式 (32) 表明后验均值 ${\mu }_n$ 是先验均值 ${\mu }_0$ 与样本均值 ${\hat{\mu }}_{\text{ML}}$ 的加权平均，权重由各自的方差的倒数决定。

---

进一步求解 ${\mu }_n$ 和 ${\sigma }_n^2$，得到

$${\mu }_n=\left(\frac{{\sigma }_0^2}{{\sigma }_0^2+{\sigma }^2/n}\right){\hat{\mu }}_{\text{ML}}+\frac{{\sigma }^2/n}{{\sigma }_0^2+{\sigma }^2/n}{\mu }_0\text{\hspace{1em}(34)}$$

和

$${\sigma }_n^2=\frac{{\sigma }_0^2{\sigma }^2/n}{{\sigma }_0^2+{\sigma }^2/n}\text{\hspace{1em}(35)}$$

上述方程显示了先验知识和样本观测数据结合，形成后验密度 $p(\mu \mid \mathcal{X})$ 的。总的说来，${\mu }_n$ 代表了在观察到 $n$ 个样本后，对 $\mu$ 的真实值的最好的估计，而 ${\sigma }_n^2$ 反映了对这个估计的不确定程度。

---

• 式 (34)：后验均值 ${\mu }_n$ 是样本均值 ${\hat{\mu }}_{\text{ML}}$ 和先验均值 ${\mu }_0$ 的加权平均。权重由先验方差 ${\sigma }_0^2$ 和数据方差 ${\sigma }^2$ 决定。
  • 当 $n$ 很大时，${\mu }_n\to {\hat{\mu }}_{\text{ML}}$（数据主导）。
  • 当 $n$ 很小时，${\mu }_n$ 更接近 ${\mu }_0$（先验主导）。
• 式 (35)：后验方差随样本数增加而减小，表明不确定性下降。
  • 极限情况下，${\sigma }_n^2\to 0$，即后验分布趋于确定性（退化为点估计）。

---

根据式 (34)，知道，在通常情况下，${\mu }_n$ 都是 ${\hat{\mu }}_{\text{ML}}$ 和 ${\mu }_0$ 的线性组合，两者的系数均为非负，并且和为 1。即，${\mu }_n$ 位于 ${\hat{\mu }}_{\text{ML}}$ 和 ${\mu }_0$ 的连线上。如果 ${\sigma }_0\ne 0$，则当 $n$ 趋于无穷大时，${\mu }_n$ 趋近于样本均值。如果 ${\sigma }_0=0$，这是一种退化的情况，即，对先验估计 ${\mu }_0$ 是如此确信，以至于任何观察样本都无法改变的态度。在另一种极端情况中，如果 ${\sigma }_0\gg \sigma$，即，对先验估计 ${\mu }_0$ 是如此的不确信，以至于直接把样本均值 ${\hat{\mu }}_{\text{ML}}$ 当作了 $\mu$。总的来说，先验知识和经验数据各自的贡献之间的平衡取决于 ${\sigma }^2$ 和 ${\sigma }_0^2$ 的比值，这个比值被称为“决断因子”（dogmatism）。如果该值不是无穷大，那么当获得了足够的样本后，${\mu }_0,{\sigma }_0^2$ 的具体数值的精确假定变得无关紧要了，同时 ${\mu }_n$ 将收敛于样本均值 ${\hat{\mu }}_{\text{ML}}$。

根据式 (35)，将看到，${\sigma }_n^2$ 是 $n$ 的单调递减函数，并且在 $n$ 趋于无穷大时，${\sigma }_n^2$ 趋于 ${\sigma }^2/n$，即，每增加一个观察样本，对 $\mu$ 的估计的不确定程度能减少。当 $n$ 增加时，$p(\mu \mid \mathcal{X})$ 的波形变得越来越尖，并且在 $n$ 趋于无穷大时，逼近于狄拉克函数。

单变量情况：$p(x\mid \mathcal{X})$

在均值的后验密度 $p(\mu \mid \mathcal{X})$ 的基础上，计算类条件概率密度 $p(x\mid \mathcal{X})$ 了①。根据式 (25)、(26)、(30)，得到

---

① 注意：这里的 $p(x\mid \mathcal{X})$ 实际上是 $p(x\mid \omega ,\mathcal{X})$，即在类别 $\omega$ 下给定数据 $\mathcal{X}$ 时 $x$ 的条件密度。

---

$$\begin{array}{rl}p(x\mid \mathcal{X})& =\int p(x\mid \mu )p(\mu \mid \mathcal{X})\mathrm{d}\mu \\ & =\int \frac{1}{\sqrt{2\pi }\sigma }\exp \left[-\frac{1}{2}{\left(\frac{x-\mu }{\sigma }\right)}^2\right]\cdot \frac{1}{\sqrt{2\pi }{\sigma }_n}\exp \left[-\frac{1}{2}{\left(\frac{\mu -{\mu }_n}{{\sigma }_n}\right)}^2\right]\mathrm{d}\mu \\ & =\frac{1}{2\pi \sigma {\sigma }_n}\exp \left[-\frac{1}{2}\frac{(x-{\mu }_n{)}^2}{{\sigma }^2+{\sigma }_n^2}\right]f(\sigma ,{\sigma }_n)\end{array}\text{\hspace{1em}(36)}$$

其中

$$f(\sigma ,{\sigma }_n)=\int \exp \left[-\frac{1}{2}\frac{{\sigma }^2+{\sigma }_n^2}{{\sigma }^2{\sigma }_n^2}{\left(\mu -\frac{{\sigma }_n^{2}x+{\sigma }^2{\mu }_n}{{\sigma }^2+{\sigma }_n^2}\right)}^2\right]\mathrm{d}\mu$$

即，作为 $x$ 的函数，类条件概率密度函数 $p(x\mid \mathcal{X})$ 正比于

$$\exp \left[-\frac{1}{2}\frac{(x-{\mu }_n{)}^2}{{\sigma }^2+{\sigma }_n^2}\right]$$

因此 $p(x\mid \mathcal{X})$ 是一个正态分布，均值为 ${\mu }_n$，方差为 ${\sigma }^2+{\sigma }_n^2$，即

$$p(x\mid \mathcal{X})=N({\mu }_n,{\sigma }^2+{\sigma }_n^2)\text{\hspace{1em}(37)}$$

即，为了得到类条件概率密度函数 $p(x\mid \mathcal{X})$，其参数形式为已知的 $p(x\mid \mu )=N(\mu ,{\sigma }^2)$，只需用 ${\mu }_n$ 替换 $\mu$，用 ${\sigma }^2+{\sigma }_n^2$ 替换 ${\sigma }^2$ 。在效果上，${\mu }_n$ 被当作 $\mu$ 的真实值看待，而这时的方差比起 ${\sigma }^2$ 来说相对增加了，原因是对均值 $\mu$ 的不确定性增加了对 $x$ 的不确定性。

这是最终的结果：$p(x\mid \mathcal{X})$ 是类条件概率密度函数 $p(x\mid {\omega }_i,{\mathcal{X}}_i)$，结合先验概率 $P({\omega }_i)$，完全掌握了设计贝叶斯分类器所需的概率知识。在这点上，贝叶斯估计方法与最大似然方法不同，因为最大似然方法只是估计 $\hat{\mu }$ 和 ${\hat{\sigma }}^2$ 的值，而不是估计 $p(x\mid \mathcal{X})$ 的分布。

---

多变量情况

对于多变量的情况，在协方差矩阵 $\Sigma$ 已知，而均值 $\mathbf{\mu }$ 未知的情况下，并不能把单变量的结果作简单的推广。在这里将大略地描述分析的过程。如同一维的情况，假设：

$$p(\mathbf{x}\mid \mathbf{\mu })=N(\mathbf{\mu },\Sigma )\text{且}p(\mathbf{\mu })=N({\mathbf{\mu }}_0,{\Sigma }_0)\text{\hspace{1em}(38)}$$

其中的 $\Sigma$、${\Sigma }_0$、${\mathbf{\mu }}_0$ 均假设为已知。在观测到样本集 $\mathcal{X}$ 中的 $n$ 个互相独立的样本 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$ 后，使用贝叶斯公式，得到

$$\begin{array}{rl}p(\mathbf{\mu }\mid \mathcal{X})& =\alpha \prod _{k=1}^{n}p({\mathbf{x}}_k\mid \mathbf{\mu })p(\mathbf{\mu })\\ & ={\alpha }^{\prime }\exp \left[-\frac{1}{2}\left({\mathbf{\mu }}^{\prime }\left(n{\Sigma }^{-1}+{\Sigma }_0^{-1}\right)\mathbf{\mu }-2{\mathbf{\mu }}^{\prime }\left({\Sigma }^{-1}\sum _{k=1}^n{\mathbf{x}}_k+{\Sigma }_0^{-1}{\mathbf{\mu }}_0\right)\right)\right]\end{array}\text{\hspace{1em}(39)}$$

进行配方和变量替换，上式可以简化表示为

$$p(\mathbf{\mu }\mid \mathcal{X})={\alpha }^{\prime \prime }\exp \left[-\frac{1}{2}(\mathbf{\mu }-{\mathbf{\mu }}_n{)}^{\prime }{\Sigma }_n^{-1}(\mathbf{\mu }-{\mathbf{\mu }}_n)\right]\text{\hspace{1em}(40)}$$

这样，$p(\mathbf{\mu }\mid \mathcal{X})=N({\mathbf{\mu }}_n,{\Sigma }_n)$。对式 (39) 和式 (40) 应用对应项相等的原则，得到分别类似于式 (34)、式 (35) 的等式：

$${\Sigma }_n^{-1}=n{\Sigma }^{-1}+{\Sigma }_0^{-1}\text{\hspace{1em}(41)}$$

和

$${\Sigma }_n^{-1}{\mathbf{\mu }}_n=n{\Sigma }^{-1}{\hat{\mathbf{\mu }}}_{\mathrm{ML}}+{\Sigma }_0^{-1}{\mathbf{\mu }}_0\text{\hspace{1em}(42)}$$

其中，${\hat{\mathbf{\mu }}}_{\mathrm{ML}}$ 是样本均值：

$${\hat{\mathbf{\mu }}}_{\mathrm{ML}}=\frac{1}{n}\sum _{k=1}^n{\mathbf{x}}_k\text{\hspace{1em}(43)}$$

在对上述的几个方程求解均值 ${\mathbf{\mu }}_n$ 和协方差矩阵 ${\Sigma }_n$ 时，需要用到恒等式：

$$({\mathbf{A}}^{-1}+{\mathbf{B}}^{-1}{)}^{-1}=\mathbf{A}(\mathbf{A}+\mathbf{B}{)}^{-1}\mathbf{B}=\mathbf{B}(\mathbf{A}+\mathbf{B}{)}^{-1}\mathbf{A}\text{\hspace{1em}(44)}$$

（其中矩阵 $\mathbf{A},\mathbf{B}$ 均为 $d\times d$ 的非奇异矩阵）经过一些推导，进一步解得：

$${\mathbf{\mu }}_n={\Sigma }_0{\left({\Sigma }_0+\frac{1}{n}\Sigma \right)}^{-1}{\hat{\mathbf{\mu }}}_{\mathrm{ML}}+\frac{1}{n}\Sigma {\left({\Sigma }_0+\frac{1}{n}\Sigma \right)}^{-1}{\mathbf{\mu }}_0\text{\hspace{1em}(45)}$$

（这个公式很像一维时 ${\hat{\mu }}_{\text{ML}}$ 和 ${\mu }_0$ 的线性组合公式）

和

$${\Sigma }_n={\Sigma }_0{\left({\Sigma }_0+\frac{1}{n}\Sigma \right)}^{-1}\frac{1}{n}\Sigma \text{\hspace{1em}(46)}$$

如果利用积分：

$$p(\mathbf{x}\mid \mathcal{X})=\int p(\mathbf{x}\mid \mathbf{\mu })p(\mathbf{\mu }\mid \mathcal{X})d\mathbf{\mu }\text{\hspace{1em}(47)}$$

那么可以进一步证明：$p(\mathbf{x}\mid \mathcal{X})=N({\mathbf{\mu }}_n,\Sigma +{\Sigma }_n)$（证明过程略）。

然而，这一结果可以用另一种简单的方法来得出：因为 $\mathbf{x}$ 可以看成两个互相独立的随机变量的和，其中一个变量为服从 $p(\mathbf{\mu }\mid \mathcal{X})=N({\mathbf{\mu }}_n,{\Sigma }_n)$ 的变量 $\mathbf{\mu }$，另一个变量为独立随机变量 $\mathbf{y}$，服从分布 $p(\mathbf{y})=N(0,\Sigma )$。因为两个独立的正态分布的向量随机变量的和仍然为一个正态分布的向量，其均值为各自均值的和，其协方差矩阵为各自协方差矩阵的和，得到：

$$p(\mathbf{x}\mid \mathcal{X})=N({\mathbf{\mu }}_n,\Sigma +{\Sigma }_n)\text{\hspace{1em}(48)}$$

• 式 (45)：后验均值 ${\mathbf{\mu }}_n$ 是样本均值 ${\hat{\mathbf{\mu }}}_{\mathrm{ML}}$ 和先验均值 ${\mathbf{\mu }}_0$ 的加权平均。
• 式 (46)：后验协方差 ${\Sigma }_n$ 反映了对均值估计的不确定性，随着样本数 $n$ 增加而减小。
• 式 (48)：最终的类条件密度 $p(\mathbf{x}\mid \mathcal{X})$ 是正态分布，其均值为 ${\mathbf{\mu }}_n$，协方差为原始噪声协方差 $\Sigma$ 加上对 $\mathbf{\mu }$ 的不确定性的贡献 ${\Sigma }_n$。

---