【机器人学中的状态估计】2.1 习题:证明p维高斯概率密度函数积分为1
需要用到结论 【机器人学中的状态估计】2.1 习题:证明一维高斯概率密度函数积分为1
p维高斯分布的积分为1
p ( x ) = 1 ( 2 π ) p / 2 ∣ Σ ∣ 1 / 2 exp ( − 1 2 ( x − μ ) ⊤ Σ − 1 ( x − μ ) ) p(\mathbf{x}) = \frac{1}{(2\pi)^{p/2} |\boldsymbol{\Sigma}|^{1/2}} \exp\left( -\frac{1}{2} (\mathbf{x} - \boldsymbol{\mu})^\top \boldsymbol{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu}) \right) p(x)=(2π)p/2∣Σ∣1/21exp(−21(x−μ)⊤Σ−1(x−μ))
其中:
-
x = ( x 1 , x 2 , … , x p ) ⊤ \mathbf{x} = (x_1, x_2, \ldots, x_p)^\top x=(x1,x2,…,xp)⊤ 是p维随机向量
-
μ = ( μ 1 , μ 2 , … , μ p ) ⊤ \boldsymbol{\mu} = (\mu_1, \mu_2, \ldots, \mu_p)^\top μ=(μ1,μ2,…,μp)⊤ 是均值向量
-
Σ \boldsymbol{\Sigma} Σ 是 p × p p \times p p×p 的协方差矩阵(对称正定)
我们需要证明:
∫ R p p ( x ) d x = 1 \int_{\mathbb{R}^p} p(\mathbf{x}) d\mathbf{x} = 1 ∫Rpp(x)dx=1
步骤1:变量替换
由于 Σ \boldsymbol{\Sigma} Σ 是对称正定矩阵,可以进行Cholesky分解:
Σ = L L ⊤ \boldsymbol{\Sigma} = \mathbf{L} \mathbf{L}^\top Σ=LL⊤
其中 L \mathbf{L} L 是下三角矩阵。
令 z = L − 1 ( x − μ ) \mathbf{z} = \mathbf{L}^{-1} (\mathbf{x} - \boldsymbol{\mu}) z=L−1(x−μ)
则:
-
x = μ + L z \mathbf{x} = \boldsymbol{\mu} + \mathbf{L} \mathbf{z} x=μ+Lz
-
d x = ∣ L ∣ d z = ∣ Σ ∣ 1 / 2 d z d\mathbf{x} = |\mathbf{L}| d\mathbf{z} = |\boldsymbol{\Sigma}|^{1/2} d\mathbf{z} dx=∣L∣dz=∣Σ∣1/2dz(因为 ∣ Σ ∣ = ∣ L ∣ 2 |\boldsymbol{\Sigma}| = |\mathbf{L}|^2 ∣Σ∣=∣L∣2)
同时,二次型变为:
( x − μ ) ⊤ Σ − 1 ( x − μ ) = z ⊤ L ⊤ ( L L ⊤ ) − 1 L z = z ⊤ z (\mathbf{x} - \boldsymbol{\mu})^\top \boldsymbol{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu}) = \mathbf{z}^\top \mathbf{L}^\top (\mathbf{L} \mathbf{L}^\top)^{-1} \mathbf{L} \mathbf{z} = \mathbf{z}^\top \mathbf{z} (x−μ)⊤Σ−1(x−μ)=z⊤L⊤(LL⊤)−1Lz=z⊤z
步骤2:代入积分
∫ R p p ( x ) d x = ∫ R p 1 ( 2 π ) p / 2 ∣ Σ ∣ 1 / 2 exp ( − 1 2 z ⊤ z ) ∣ Σ ∣ 1 / 2 d z \int_{\mathbb{R}^p} p(\mathbf{x}) d\mathbf{x} = \int_{\mathbb{R}^p} \frac{1}{(2\pi)^{p/2} |\boldsymbol{\Sigma}|^{1/2}} \exp\left( -\frac{1}{2} \mathbf{z}^\top \mathbf{z} \right) |\boldsymbol{\Sigma}|^{1/2} d\mathbf{z} ∫Rpp(x)dx=∫Rp(2π)p/2∣Σ∣1/21exp(−21z⊤z)∣Σ∣1/2dz
简化得
∫ R p f ( x ) d x = 1 ( 2 π ) p / 2 ∫ R p exp ( − 1 2 z ⊤ z ) d z \int_{\mathbb{R}^p} f(\mathbf{x}) d\mathbf{x} = \frac{1}{(2\pi)^{p/2}} \int_{\mathbb{R}^p} \exp\left( -\frac{1}{2} \mathbf{z}^\top \mathbf{z} \right) d\mathbf{z} ∫Rpf(x)dx=(2π)p/21∫Rpexp(−21z⊤z)dz
步骤3:分离变量
由于 z ⊤ z = z 1 2 + z 2 2 + ⋯ + z p 2 \mathbf{z}^\top \mathbf{z} = z_1^2 + z_2^2 + \cdots + z_p^2 z⊤z=z12+z22+⋯+zp2,且积分区域是整个 R p \mathbb{R}^p Rp,多重积分可以分解为p个独立积分的乘积:
∫ R p exp ( − 1 2 z ⊤ z ) d z = ∏ i = 1 p ∫ − ∞ ∞ exp ( − z i 2 2 ) d z i \int_{\mathbb{R}^p} \exp\left( -\frac{1}{2} \mathbf{z}^\top \mathbf{z} \right) d\mathbf{z} = \prod_{i=1}^p \int_{-\infty}^{\infty} \exp\left( -\frac{z_i^2}{2} \right) dz_i ∫Rpexp(−21z⊤z)dz=i=1∏p∫−∞∞exp(−2zi2)dzi
由一维高斯积分结果可知:
∫ − ∞ ∞ exp ( − z i 2 2 ) d z i = 2 π \int_{-\infty}^{\infty} \exp\left( -\frac{z_i^2}{2} \right) dz_i = \sqrt{2\pi} ∫−∞∞exp(−2zi2)dzi=2π
因此
∫ R p exp ( − 1 2 z ⊤ z ) d z = ( 2 π ) p \int_{\mathbb{R}^p} \exp\left( -\frac{1}{2} \mathbf{z}^\top \mathbf{z} \right) d\mathbf{z} = (\sqrt{2\pi})^p ∫Rpexp(−21z⊤z)dz=(2π)p
步骤4:完成证明
代回原式:
∫ R p p ( x ) d x = 1 ( 2 π ) p / 2 ⋅ ( 2 π ) p = 1 ( 2 π ) p / 2 ⋅ ( 2 π ) p / 2 = 1 \int_{\mathbb{R}^p} p(\mathbf{x}) d\mathbf{x} = \frac{1}{(2\pi)^{p/2}} \cdot (\sqrt{2\pi})^p = \frac{1}{(2\pi)^{p/2}} \cdot (2\pi)^{p/2} = 1 ∫Rpp(x)dx=(2π)p/21⋅(2π)p=(2π)p/21⋅(2π)p/2=1
因此,p维高斯分布的积分为1。