【课堂笔记】概率论-3

指数族分布

定义

我们给出一类概率分布的通用表达式：
f(x;θ)=h(x)exp⁡{<T(x),θ>−b(θ)}f(x; \theta) = h(x)\exp\set{\left<T(x), \theta\right> - b(\theta)} f(x;θ)=h(x)exp{⟨T(x),θ⟩−b(θ)}

• $\theta$：自然参数(natural parameter)
• $f(x;\theta )$：参数为$\theta$的概率密度函数（相对于某个基测度$\mu (dx)$）
• $h(x)\ge 0$：编码数据的支持集(support)，即哪些$x$的值是可能的，它不依赖于$\theta$
• $T(x)$：充分统计量(sufficient statistics)，提取数据中的关键信息
• $b(\theta )$：累积量函数（cumulant function），它确保了概率密度函数可以被归一化（即积分等于1）

满足这个定义的分布被称为指数族分布

定义Θ=dom(b):={θ:b(θ)<∞}\Theta = \text{dom}(b) := \set{\theta : b(\theta) < \infty}Θ=dom(b):={θ:b(θ)<∞}，即让$b(\theta )$有限的集合，称为自然参数空间。只有在这个空间内，对应的概率分布才是合法的。它有个很重要的几何特性：

• $\Theta$是一个凸集（convex set）
• $b(\cdot )$是凸函数

以及$b(\theta )$能生成充分统计量$T(x)$的各阶矩：
$$\begin{gathered} \nabla b(\theta )=\mathbb{E}[T(X)] \\ {\nabla }^{2}b(\theta )=\text{Cov}[T(X)] \end{gathered}$$

此外，如果我们记$d\mu$是典型的Lebesgue测度，记$d\nu =h(x)d\mu$，则可以把$h(x)$“吸收”掉，然后有：
$$b=\log \int \exp (⟨T(x),\theta ⟩)d\nu$$

例子

• Bernoulli：$$p^x(1-p{)}^x=\exp [x\log (\frac{p}{1-p})+log(1-p)]$$于是$T(x)=x,\theta =\log (\frac{p}{1-p}),b(\theta )=\log (1+e^{\theta })$
• Poisson: $$\frac{{\lambda }^x{e}^{-\lambda }}{x!}=\frac{1}{x!}\exp [x\log (\lambda )-\lambda ]$$
  于是$T(x)=x,\theta =\log (\lambda ),b(\theta )=e^{\theta },h(x)=\frac{1}{x!}{1}_{x\in {\mathbb{Z}}_{+}}$

更多可能用到的分布

• Gamma(a, b): $$f(x;a,b)=\frac{b^a}{\Gamma (a)}{x}^{a-1}{e}^{-bx}$$
  均值为$\frac{a}{b}$，方差为$\frac{a}{b^2}$
• Beta(a, b): $$f(x;a,b)=\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{x}^{a-1}(1-x{)}^{b-1},x\in [0,1]$$
  均值为$\frac{a}{a+b}$，方差为$\frac{ab}{(a+b{)}^2(a+b+1)}$
• Dirichlet(${\alpha }_1,...,{\alpha }_m$):$$f(\mathbf{x};\alpha )=\frac{\Gamma (\underset{i=1}{\sum ^m}{\alpha }_i)}{\underset{i=1}{\prod ^m}\Gamma ({\alpha }_i)}\underset{i=1}{\prod ^m}{x}_i^{{\alpha }_i-1}$$
  概率分布的支撑集为Pm:={x∈Rm:xi≥0,∑xi=1}\mathcal{P}^m := \set{\mathbf{x} \in \mathbb{R}^m: x_i \ge 0, \sum x_i = 1}Pm:={x∈Rm:xi​≥0,∑xi​=1}
  $X_i$的均值为$\frac{{\alpha }_i}{\underset{j=1}{\sum ^m}{\alpha }_j}$
  它是Beta分布的多元推广

矩/累积量生成函数（Moment/cumulant generating functions）

定义

给定随机变量$X$，定义矩生成函数(MGF)：
$$M_X(t):={\mathbb{E}}_X[\exp ⟨t,X⟩]=\int \exp ⟨t,X⟩dF(x)$$

• $F(x)$是$X$的分布函数
• $t\in {\mathbb{R}}^n$

定义累积量生成函数(CGF)：
$$m_X(t):=\log M_X(t)$$

• 这个函数是凸函数（由 Hölder 不等式可证）
• $M_X(t)$并不是总是处处存在

性质

如果$M_X(t)$在原点的一个开邻域内存在，则通过求导可以得到各阶矩：
$$\begin{gathered} \nabla M(0)=[{\mathbb{E}}_X(\exp ⟨t,X⟩){]}_{t=0}^{\prime }=\mathbb{E}[X] \\ {\nabla }^{2}M(0)=[{\mathbb{E}}_X\nabla (\exp ⟨t,X⟩X^{\top }){]}_{t=0}=\mathbb{E}[X{X}^{\top }] \end{gathered}$$
特别的，对于单变量的随机变量$X$，有
$$\mathbb{E}[X^n]=M^{(n)}(0)$$
这基于以下性质：如果$M_X(t)$在原点附近存在，则：

• 所有阶矩都存在
• 可以交换梯度$\nabla$和期望$\mathbb{E}$（依据控制收敛定理）

考虑累积量生成函数$m(t)=\log M(t)$，则：
$$\begin{gathered} \nabla m(0)=\mathbb{E}[X] \\ {\nabla }^{2}m(0)=\mathbb{E}[(X-\mathbb{E}X)(X-\mathbb{E}X{)}^{\top }]=\text{Cov}(X) \end{gathered}$$

对于指数族分布f(x;θ)=h(x)exp⁡{<T(x),θ>−b(θ)}f(x; \theta) = h(x)\exp\set{\left<T(x), \theta\right> - b(\theta)}f(x;θ)=h(x)exp{⟨T(x),θ⟩−b(θ)}对任意$\theta \in \Theta$，充分统计量$T(X)$的累计生成函数在$t=0$附近存在，且有：
$$m_T(t)=b(\theta +t)-b(\theta )$$

• 这意味着我们不需要显式地计算期望或方差，就可以通过$b(\theta )$得到矩信息。

证明：
$$\begin{array}{rl}{M}_T(t)& =\int \exp ⟨t,T(x)⟩h(x)\exp [⟨T(x),\theta ⟩-b(\theta )]\mathrm{d}\mu (x)\\ & =e^{-b(\theta )}\int h(x)\exp [⟨T(x),\theta +t⟩]\mathrm{d}\mu (x)\\ & =e^{-b(\theta )}{e}^{b(\theta +t)}.\end{array}$$

因此，$\nabla b(\theta )=\mathbb{E}[T(X)],{\nabla }^{2}b(\theta )=\text{Var}[T(X)]$

特征函数（Characteristic Function）

定义

特征函数是随机变量$X$的一个工具，定义为：
$${\phi }_X(t):=\mathbb{E}[e^{itX}]=\int e^{itx}dF(x),t\in \mathbb{R}$$

• $i$是虚数单位
• $F(x)$是累积分布函数

特征函数本质是随机变量的傅里叶变换，因此它与傅里叶分析密切相关。

性质

• 存在性：对所有$t\in \mathbb{R}$，特征函数都存在
• 有界性：$|{\phi }_X(t)|\le 1,{\phi }_X(0)=1$
• 连续性：特征函数是一致连续的
• 唯一性：若两个随机变量$X,Y$的特征函数相等，则它们同分布
• 如果矩生成函数$M_X(s)$存在，则：
  $${\phi }_X(t)=M_X(it)$$
• 如果$\mathbb{E}[X^n]$存在，则可以通过对特征函数求导得到：
  $$\mathbb{E}[X^n]=i^{-n}{\phi }_X^{(n)}(0)$$
  即：第$n$阶矩等于特征函数在 $t=0$处的$n$阶导数乘以$i^{-n}$

反演公式

对于连续型分布，可以通过特征函数反推出概率密度函数$f(x)$：
$$f(x)=\frac{1}{2\pi }{\int }_{-\infty }^{\infty }{e}^{-itx}{\phi }_X(t)dt$$
这说明：特征函数可以完全刻画分布

例子

• $\mathcal{N}(\mu ,{\sigma }^2):{\phi }_X(t)=\exp (i\mu t-\frac{{\sigma }^2{t}^2}{2})$
• $\text{Ber}(p)$: ${\phi }_X(t)=1-p+p{e}^{it}$
• $\text{Poi}(\lambda )$: ${\phi }_X(t)=\exp (\lambda (e^{it}-1))$
• $\text{Exp}(\lambda )$: ${\phi }_X(t)=\frac{\lambda }{\lambda -it}$
• $\text{Cauchy}(\mu ,\gamma )$:
  $$\begin{gathered} f(x)=\frac{1}{\pi [\gamma +(x-\mu {)}^2/\gamma ]} \\ {\phi }_X(t)=\exp (i\mu t-\gamma |t|) \end{gathered}$$
  注意它没有MGF

共轭先验（Conjugate priors）

给出任意指数族分布
$$f(x;\theta )=h(x)\exp [⟨T(x),\theta ⟩-b(\theta )]$$
设一系列随机变量$X_i\stackrel{i.i.d.}{\sim }f$，则联合分布为：
$$f(x_1,...,x_n\mid \theta )=h(x{)}^n\exp \left[⟨\sum T(x_i),\theta ⟩-nb(\theta )\right]$$
我们选取一个先验分布：
$$f(\theta ;\tau ,n_0)=H(\tau ,n_0)\exp [⟨\theta ,\tau ⟩-n_{0}b(\theta )]$$

• $\tau ,n_0$是超参数
• 底层测度是Lebesgue测度

然后会发现后验分布遵循一样的族：
$$\begin{array}{rl}f(\theta \mid x_1,...,x_n)& =\frac{f(\theta ;\tau )f(x_1,...,x_n\mid \theta )}{f(x)}\\ & \propto \exp \left[⟨\theta ,\tau +\sum T(x_i)⟩-(n+n_0)b(\theta )\right]\end{array}$$

Bregman散度（Bregman divergence）

定义

对于一个连续可微且严格凸函数$f:\Omega \to \mathbb{R}$，其Bregman散度定义为：
$${\mathbf{D}}_f(x,y)\stackrel{\Delta }{=}f(x)-f(y)-⟨\nabla f(y),x-y⟩,\forall x,y\in \Omega$$

称它为散度的原因是它满足${\mathbf{D}}_f(x,y)>0,\forall x\ne y$

例子

• ${\mathbf{D}}_{\Vert \cdot {\Vert }_2^2/2}(x,y)=\Vert x-y{\Vert }_2^2/2\equiv {\mathbf{D}}_2({\text{metric}}^2)$
  即选择凸函数$f(x)=\frac{1}{2}\Vert x{\Vert }_2^2$时，对应的Bregman散度成了欧几里得距离的平方的一半。
• 设$\phi (p)=\sum p_i\log p_i$（负熵）。则我们可以得到KL散度为：
  $$\begin{array}{rl}{\mathbf{D}}_{\phi }(p,q)& =\sum p_i\log p_i-\sum q_i\log q_i-⟨1+\log q,p-q⟩\\ & =\sum p_i\log (p_i/q_i)-p_i+q_i\\ & =\sum p_i\log (p_i/q_i)\text{ if }\sum p_i=\sum q_i=1\end{array}$$

性质

设$\phi ,\varphi ,\psi$是可微的且严格凸的，则

• ${\mathbf{D}}_{\phi }(\cdot ,y)$是严格凸的，如果给定$y\in \Omega$
• ${\nabla }_x{\mathbf{D}}_{\phi }(x,y)=\nabla \phi (x)-\nabla \phi (y)$
• ${\mathbf{D}}_{a\phi +\varphi }(x,y)=a{\mathbf{D}}_{\phi }(x,y)+{\mathbf{D}}_{\varphi }(x,y)$
• ${\mathbf{D}}_{\phi }(x,y)={\mathbf{D}}_{\phi }(x,z)-{\mathbf{D}}_{\phi }(y,z)-⟨x-y,\nabla \phi (y)-\nabla \phi (z)⟩$

Fenchel 共轭（Fenchel Conjugate）

给定函数$\phi :{\mathbb{R}}^n\to \overline{\mathbb{R}}$（不一定是凸函数），其Fenchel共轭定义为：
$${\phi }^{\ast }(z)=\underset{x}{\sup }⟨z,x⟩-\phi (x)$$
这是一个标准的对偶变换

如果我们假设$\text{dom}\phi ={\mathbb{R}}^n$（即全空间有定义），且$\phi$严格凸，$\phi \in C^1$（一阶可微），则保证了下面结论的成立：

梯度与共轭的关系

对任意$z\in (\text{dom}{\phi }^{\ast }{)}^{\circ }$（内部点），存在唯一的有限的$x$满足：
$$z=\nabla \phi (x)\text{ or }x=(\nabla \phi {)}^{-1}(z)$$
这意味着梯度映射$\nabla \phi$是从$x$到$z$的一一对应。定义对偶点$x^{\ast }=\nabla \phi (x)$，则映射$\nabla \phi$有逆：
$$\begin{gathered} x\mapsto x^{\ast }=\nabla \phi (x) \\ {x}^{\ast }\mapsto x=\nabla {\phi }^{\ast }(x^{\ast }) \end{gathered}$$
所以
$$\begin{gathered} \nabla {\phi }^{\ast }(\nabla \phi (x))=x \\ \nabla \phi (\nabla {\phi }^{\ast }(x^{\ast }))=x^{\ast } \end{gathered}$$

Legendre-Fenchel 对偶恒等式：

$${\phi }^{\ast }(x^{\ast })+\phi (x)=⟨x,x^{\ast }⟩$$

注意，即使没有“严格凸”的条件，仍有Fenchel不等式成立：
$$⟨x,y⟩\le f(x)+f^{\ast }(y)$$
取等号条件为：

• $f$是适当凸函数（proper convex）
• $y\in \partial f(x)$

Bregman散度的对偶性

我们有关键结论：共轭上的Bregman散度相等
设$x^{\ast }=\nabla \phi (x),y^{\ast }=\nabla \phi (y)$，则有：
$${\mathbf{D}}_{\phi }(x,y)={\mathbf{D}}_{{\phi }^{\ast }}(y^{\ast },x^{\ast })$$
这说明一种对称性：虽然Bregman本身不对称，但通过共轭可以建立一种“对偶对称”

指数族 & Bregman散度

设概率密度函数为：
$$f(y\mid \theta )=h(y)\exp (y^{\top }\theta -b(\theta ))$$
定义域domb={θ∈Rn:b(θ)<+∞}\text{dom}b = \set{\theta \in \mathbb{R}^n: b(\theta) < +\infty}domb={θ∈Rn:b(θ)<+∞}是开集，于是对$\phi =b^{\ast }$，有：
$$\begin{gathered} \mu (\theta ):=\mathbb{E}(y)=\nabla b(\theta ) \\ -\log f(y\mid \theta )={\mathbf{D}}_{\phi }(y,\mu (\theta ))+c(y) \end{gathered}$$
其中$c(y)$不依赖于$\theta$，这说明负对数似然可以分解为一个 Bregman 散度 加上一个仅依赖于$y$的项。
所以，负对数似然 ≈ Bregman 散度（从观测值到期望值的距离）

同时我们有$\forall g\in \partial \phi ,D_{\phi }(y,\mu (\theta ))={△}_b(\theta ,g(y))$。
如果$b\in {\mathcal{C}}^{(1)}$且是严格凸的，$g=\nabla \phi =(\nabla b{)}^{-1}$且
$${\mathbf{D}}_{\phi }(y,\mu (\theta ))={\mathbf{D}}_b(\theta ,g(y))$$

证明：
−<y,θ>+b(θ)=−<y,θ>+{<μ,θ>−φ(μ)}=−φ(μ)−<y−μ,θ>=−φ(μ)−<y−μ,∇φ(μ)>=Dφ(y,μ)−φ(y)\begin{align*} -\left<y, \theta\right> + b(\theta) &= -\left<y, \theta\right> + \set{\left<\mu, \theta\right> - \varphi(\mu)} \\ &= -\varphi(\mu) - \left<y-\mu, \theta\right> \\ &= -\varphi(\mu) - \left<y-\mu, \nabla \varphi(\mu)\right> \\ &= \mathbf{D}_\varphi(y, \mu) - \varphi(y) \end{align*} −⟨y,θ⟩+b(θ)​=−⟨y,θ⟩+{⟨μ,θ⟩−φ(μ)}=−φ(μ)−⟨y−μ,θ⟩=−φ(μ)−⟨y−μ,∇φ(μ)⟩=Dφ​(y,μ)−φ(y)​

熵（Entropy）

对于概率向量$y\in {\mathcal{P}}^n$（即所有分量非负且和为1的向量），其对应的随机变量的熵定义为：
$$H(y):=-\sum y_i\log y_i$$
通常我们会选用负熵$-H(y)$来做优化。

连续情况下：$$H(p)=-\int p(x)\log p(x)dx$$

KL散度（Kullback-Leibler Divergence）

定义两个离散概率分布$p$和$q$之间的KL散度为：
$$K(p\Vert q)=\sum p_i\log \frac{p_i}{q_i}$$
这也被称为相对熵（relative entropy）

• 有限性条件：当$q_i=0$，必须有$p_i=0$，否则KL散度为无穷大，同时约定$0\log 0=0$
• 非归一化形式：
  K(p∥q)=∑{pilog⁡piqi−pi+qi}K(p \| q) = \sum \set{p_i\log \frac{p_i}{q_i} - p_i + q_i} K(p∥q)=∑{pi​logqi​pi​​−pi​+qi​}
  这是函数$\sum t_i\log t_i$的Bregman散度。

等价表示：
$$K(p\Vert q)=-\sum p_i\log q_i+\sum p_i\log p_i=H(p,q)-H(p)$$
其中：

• $H(p,q)=-\sum p_i\log q_i$被称为交叉熵（cross-entropy）
• $H(p)$是$p$的熵

连续情况下：$$K(p\Vert q)=\int p(x)\log \left(\frac{p(x)}{q(x)}\right)dx$$