【课堂笔记】概率论-2

联合分布 Joint Distribution 和 边缘分布 Marginal Distribution

定义

联合分布函数定义为：
$$F(a,b)=P(X\le a,Y\le b)$$
联合概率质量函数(Joint PMF)定义为：
$$p(x,y)=P(X=x,Y=y)$$
如果$X,Y$是联合连续的(jointly continuous)，当存在一个联合概率密度函数(Joint PDF)，满足对任意Borel集合$C\subset {\mathbb{R}}^2$
$$P((X,Y)\in C)={\iint }_{C}f(x,y)dxdy$$

定义$X$的边缘分布函数为（$Y$同理）：
$$F_X(a)=P(X\le a)=P(X\le a,Y<\infty )=F(a,\infty )$$
离散情况下，$X$ 的边缘 PMF为：
$$p_X(x)=\sum _{y}p(x,y)$$
连续情况下，$X$ 的边缘 PDF为：
$$f_X(x)={\int }_{-\infty }^{+\infty }f(x,y)dy$$

它们之间满足以下关系：
$$\begin{array}{rl}F(a,b)& ={\int }_{-\infty }^b{\int }_{-\infty }^{a}f(x,y)dxdy\\ f(a,b)& =\frac{{\partial }^2}{\partial a\partial b}F(a,b)\\ P(X\in A)& ={\int }_A({\int }_{-\infty }^{+\infty }f(x,y)dy)dx={\int }_A{f}_X(x)dx\end{array}$$

对于矩形区域，有：
$$P(a_1<X\le a_2,b_1<Y\le b_2)=F(a_2,b_2)-F(a_1,b_2)-F(a_2,b_1)+F(a_1,b_1)$$

独立情况

如果定义在同一概率空间的事件$X,Y$是独立的，当在任意Borel集合$A,B$上，有
$$P(X\in A,Y\in B)=P(X\in A)P(Y\in B)$$
这等价于
$$P(X\le a,Y\le b)=P(X\le a)P(Y\le b),\forall a,b\in \mathbb{R}$$
或：
$$F_{X,Y}(x,y)=F_X(x)F_Y(y)$$
通过这个条件我们可以证明：

• 离散情况下，$X\perp \perp Y\iff p_{X,Y}(x,y)=p_X(x)p_Y(y),\forall x,y$
• 连续情况下，$X\perp \perp Y\iff f_{X,Y}(x,y)=f_X(x)f_Y(y),\forall x,y$
• $X$是整数（离散），$Y$是连续的：$X\perp \perp Y\iff P(X=n,Y\le y)=P(X=n)P(Y\le y)$

卷积，和事件$X+Y$

假设$X\perp \perp Y$，且有密度函数$f_X,f_Y$，我们尝试写出$X+Y$的分布：
$$F_{X+Y}(a)=P(X+Y\le a)={\iint }_{x+y\le a}{f}_X(x)f_Y(y)dxdy={\int }_{\mathbb{R}}{f}_Y(y)f_X(a-y)dy$$
因此
$$f_{X+Y}(a)={\int }_{\mathbb{R}}{f}_X(a-y)f_Y(y)dy$$
于是我们定义两个函数$f,g$的卷积（convolution）为：
$$(f\ast g)(t)={\int }_{-\infty }^{\infty }f(x)g(t-x)dx$$
使用卷积符号，我们可以方便地写出在$X\perp \perp Y$且连续的情况下$X+Y$的分布：
$$f_{X+Y}=f_X\ast f_Y$$
如果$X,Y$是离散、非负、整数值的，则可以写成
$$P(X+Y=n)=\sum _{k=0}^{n}P(X=k)P(Y=n-k)$$
此外，我们可以用卷积符号表示分布函数：
$$F(z)={\int }_{-\infty }^{z}f(x)dx={\int }_{-\infty }^{\infty }{1}_{z-x\ge 0}f(x)dx=(1_{\ge 0}\ast f)(z)$$

对于和事件$X+Y$，当$X\perp \perp Y$， 我们有以下性质：
$$\begin{gathered} X\sim N({\mu }_1,{\sigma }_1^2),Y\sim N({\mu }_2,{\sigma }_2^2),X+Y\sim N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2) \\ X\sim \text{Poi}({\lambda }_1),Y\sim \text{Poi}({\lambda }_2),X+Y\sim \text{Poi}({\lambda }_1+{\lambda }_2) \\ X\sim B(n,p),Y\sim B(m,p),X+Y\sim B(n+m,p) \end{gathered}$$

独立同分布（iid）

同分布(identically distributed)的意思是：多个随机变量具有相同的概率分布。
如果$X_1,...,X_n$满足：

• 它们是独立的
• 它们都是同分布的

则称它们是独立同分布的，简写为$i.i.d.$

性质：

• 如果$X,Y$是$i.i.d.$，则$P(X>Y)=P(Y>X)$，如果$X,Y$是连续的，则$P(X>Y)=0.5$
• 如果$X_1,...,X_n$是连续且$i.i.d.$，则$$P(X_1>X_2>...>X_n)=\frac{1}{n!}$$
• 如果 $X_1,...,X_n$ 是独立同分布（i.i.d.）的随机变量，且每一个$X_i$都服从伯努利分布（Bernoulli distribution），即 $X_i\sim \text{Ber}(p)$。则：
  $$\sum _{i=1}^n{X}_i\sim B(n,p)$$

联合分布期望$\mathbb{E}[g(X,Y)]$

如果你有两个随机变量$X,Y$，它们合起来有一个联合分布pmf: $p(x,y)$，或联合概率密度函数 pdf：$f(x,y)$，则对任意一个函数$g(x,y)$，它的期望可以计算为：
$$\begin{gathered} \mathbb{E}[g(X,Y)]=\sum _{x,y}g(x,y)p(x,y) \\ \mathbb{E}[g(X,Y)]=\iint g(x,y)f(x,y)dxdy \end{gathered}$$
一般形式可以写成：
$$\mathbb{E}[g(X,Y)]=\iint g(x,y)dF(x,y)$$

将这个结果应用到$g(X,Y)=X+Y$中，有
$$\mathbb{E}(X+Y)=\mathbb{E}X+\mathbb{E}Y$$
这个结果与是否独立无关！
而如果$X\perp \perp Y$，有以下结果：
$$\mathbb{E}(h(X)\cdot m(Y))=\mathbb{E}(h(X))\cdot \mathbb{E}(m(Y))$$

方差与协方差

定义

我们已经推导了：
$$\begin{array}{rl}\text{Var}(X+Y)& =\mathbb{E}(X^2+2XY+Y^2)-((\mathbb{E}X{)}^2+(\mathbb{E}Y{)}^2+2\mathbb{E}X\mathbb{E}Y)\\ & =\text{Var}(X)+\text{Var}(Y)+2(\mathbb{E}(XY)-\mathbb{E}X\mathbb{E}Y)\end{array}$$
$$\mathbb{E}(XY)-\mathbb{E}X\mathbb{E}Y=\mathbb{E}[(X-\mathbb{E}X)(Y-\mathbb{E}Y)]$$
我们把它定义为$X,Y$之间的协方差：
$$\text{Cov}(X,Y):=\mathbb{E}[(X-\mathbb{E}X)(Y-\mathbb{E}Y)]$$
如果$\text{Cov}(X,Y)=0$，则称$X,Y$是不相关的(uncorrelated)。$X,Y$独立能推出$X,Y$不相关。

性质

• 交换性(Symmetry)：$\text{Cov}(X,Y)=\text{Cov}(Y,X)$
• 自协方差：$\text{Cov}(X,X)=\text{Var}(X)$
• 线性性(Linearity)：$\text{Cov}(X,aY+bZ)=a\text{Cov}(X,Y)+b\text{Cov}(X,Z)$
• 受限性(Boundedness)：$|\text{Cov}(X,Y)|\le \sqrt{\text{Var}(X)\text{Var}(Y)}$
  通常定义相关系数(Correlation)为：
  $$\rho =\frac{\text{Cov}(X,Y)}{\sqrt{\text{Var}(X)}\sqrt{\text{Var}(Y)}}$$

由定义有：
$$\text{Var}(X+Y)=\text{Var}(X)+\text{Var}(Y)+2\text{Cov}(X,Y)$$
进一步的有：
$$\text{Var}(\sum c_i{X}_i)=\sum c_i^2\text{Var}(X_i)+2\sum _{i<j}{c}_i{c}_j\text{Cov}(X_i,X_j)$$

协方差矩阵

对两个随机向量$X\in {\mathbb{R}}^n,Y\in {\mathbb{R}}^m$，协方差定义为：
$$Cov(X,Y):=\mathbb{E}[(X-\mathbb{E}X)(Y-\mathbb{E}Y{)}^{\top }]\in {\mathbb{R}}^{n\times m}$$
于是有$$Cov(Y,X)=[Cov(X,Y){]}^{\top }$

对于一个随机向量$X=(X_1,...,X_n)$，它的协方差矩阵定义记为$Var(X)$或$Cov(X)$，定义为：
$$Cov(X)=\mathbb{E}[(X-\mathbb{E}X)(X-\mathbb{E}X{)}^{\top }]=[Cov(X_i,X_j)]\in {\mathbb{R}}^{n\times n}$$
$Cov(X)$总是半正定的(psd)且交换的。
线性变换：
$$\begin{gathered} \text{Cov}(AX,Y)=A\text{Cov}(X,Y) \\ \text{Cov}(AX)=A\cdot \text{Cov}(X)\cdot A^{\top } \end{gathered}$$

多项分布（Multinomial distribution）

设$k_1+...+k_m=n,p_1+...+p_m=1$
如果随机变量$X=(X_1,...,X_m)$满足：
$$P(X_1=k_1,...,X_m=k_m)=\frac{n!}{k_1!...k_m!}{p}_1^{k_1}...p_n^{k_n}$$
则记作$X\sim \text{Mult}(n;p_1,...,p_m)$

随机向量$X=(X_1,...,X_m)$表示在 $n$ 次试验中，每个类别出现的次数。其中每个试验中第 $i$ 个类别的发生概率为$p_i$
​

多项正态分布（Multivariate normal distribution）

一个$n$维随机向量$X$是多项正态的，均值为$\mu$，协方差为$\sum \in {\mathbb{S}}_{++}^n$，当它有密度：
$$f(x)=\frac{1}{(2\pi {)}^{n/2}|\sum {|}^{1/2}}\exp \left(-\frac{1}{2}(x-\mu {)}^{\top }\sum ^{-1}(x-\mu )\right)$$

这里${\mathbb{S}}_{++}^n$表示所有正定矩阵；我们记这样的$X$为：$X\sim \mathcal{N}(\mu ,\sum ))$

性质：

• $X\sim \mathcal{N}(\mu ,\sum ))\Rightarrow AX\sim \mathcal{N}(A\mu ,A\sum A^{\top })),\forall A\in {\mathbb{R}}^{m\times n}$
  对于特殊情况$A={\alpha }^{\top }$，$⟨\alpha ,X⟩\sim \mathcal{N}({\alpha }^{\top }\mu ,{\alpha }^{\top }\sum \alpha )$。这说明任意$X_i$的线性组合都是正态分布。
• $\mathbb{E}X=\mu ,Var(X)=\sum$

条件分布

简单定义

• 如果$X,Y$是离散型变量，则
  $$p_{X\mid Y}(x\mid y)=\frac{p(x,y)}{p_Y(y)}$$
• 如果$X,Y$是连续型变量，则$$f_{X\mid Y}(x\mid y)=\frac{f(x,y)}{f_Y(y)}$$

条件期望

• 离散情况$$\mathbb{E}[X\mid Y=y]=\sum _{x}x\cdot p_{X\mid Y}(x\mid y)$$
• 连续情况$$\mathbb{E}[X\mid Y=y]=\int x\cdot f_{X\mid Y}(x\mid y)dx$$

所以条件期望$\mathbb{E}[X\mid Y=y]$是一个依赖于$Y$的随机变量，我们将它记为$g(Y)=\mathbb{E}[X\mid Y]$。

定义的缺陷

考虑连续的变量$X,Y$，事件$A\in \sigma (X,Y)$，$P(A)>0$。
$\mathbb{E}[X\mid A]$可以被定义为在条件概率密度下$X$的均值，即
$$f_{X\mid A}(x)=\frac{\int f_{X,Y}(x,y)1_A(x,y)dy}{P(A)}$$
所以有：
$$\begin{gathered} \mathbb{E}[X\mid A]=\int x{f}_{X\mid A}(x)dx=\frac{\mathbb{E}[X\cdot 1_A]}{P(A)} \\ P(B\mid A)=\mathbb{E}[1_B\mid A]=\frac{\mathbb{E}[1_B{1}_A]}{P(A)}=\frac{P(A\cap B)}{P(A)} \end{gathered}$$

如果令 A = { Y = y } A = \set{Y = y} A={Y=y}，可以在事件$Y\in [y,y+dy]$上取极限：
f X ∣ { Y = y } ( x ) : = lim ⁡ d y → 0 ∫ y y + d y f X , Y ( x , z ) d z P ( Y ∈ ( y , y + d y ) ) = ? f X , Y ( x , y ) d y f Y ( y ) d y \begin{align*} f_{X\mid \set{Y=y}}(x):&=\underset{dy\to 0}{\lim}\frac{\int_y^{y+dy} f_{X,Y}(x, z)dz}{P(Y\in (y, y+dy))} \\ &\overset{?}{=} \frac{f_{X, Y}(x, y)dy}{f_Y(y)dy} \end{align*} fX∣{Y=y}​(x):​=dy→0lim​P(Y∈(y,y+dy))∫yy+dy​fX,Y​(x,z)dz​=?fY​(y)dyfX,Y​(x,y)dy​​
这里会出现问题，体现了这种定义的缺陷【？没看懂】

更严谨的定义

严谨的定义不再是条件分布，而是条件期望$\mathbb{E}[X\mid \mathcal{G}]$，这里$\mathcal{G}$不是事件，而是信息的集合（形式上是一个$\sigma$代数）

关键思想：先基于$\sigma (Y)$全局定义$\mathbb{E}[X\mid Y]$，然后在特定的$y$处取值，而不是反过来（先定义点值再推广）

定义：$\mathbb{E}[X|\sigma (Y)]$ 是唯一一个 $\sigma (Y)$-可测的随机变量（即属于$\sigma (Y)$ 生成的σ-代数），记作 $h(Y)$，使得对于所有 $A\in \sigma (Y)$：
$${\int }_A\mathbb{E}[X|\sigma (Y)]dP={\int }_{A}XdP$$
这里的 $h(Y)$ 就是 $\mathbb{E}[X|\sigma (Y)]$。【$\sigma (Y)$ 的完备性保证了唯一性】

这样对于特定的$y$，$\mathbb{E}[X\mid Y=y]$就是在$Y=y$处对$h(Y)$测度。

方差的定义

$$Var(X\mid Y):=\mathbb{E}[(X-\mathbb{E}[X\mid Y]{)}^2\mid Y]$$
或
$$Var(X\mid Y=y):=\mathbb{E}[(X-\mathbb{E}[X\mid Y=y]{)}^2\mid Y=y]$$

性质

• 线性性：$\mathbb{E}[aX+bZ\mid Y]=a\mathbb{E}[X\mid Y]+b\mathbb{E}[Z\mid Y]$
• 如果$X\ge 0$，则$\mathbb{E}[X\mid Y]\ge 0$
• 琴生(Jensen)：$g(\mathbb{E}[X\mid Y])\le \mathbb{E}[g(X)\mid Y]$，如果$g$是凸的。
• 如果$X\perp \perp Y$，则$\mathbb{E}[X\mid Y]=\mathbb{E}[X]$
• 如果$X$是$\sigma (Y)$可测的，则$\mathbb{E}[X\mid Y]=X$
• Tower property：$$\mathbb{E}[\mathbb{E}[X\mid Y,Z]\mid Y]=\mathbb{E}[X\mid Y]$$
• 全期望定律(Law of total expectation)：$$\mathbb{E}[\mathbb{E}[X\mid Y]]=\mathbb{E}[X]$$
• 全方差定律(Law of total variance)$$Var(X)=\mathbb{E}[Var(X\mid Y)]+Var(\mathbb{E}[X\mid Y])$$

混合分布 （Mixture distributions）

假设存在一个潜在类别变量$I\sim m(1,[p_i{]}_{1\le i\le m})$，即$I$是一个取值为$1$到$m$的离散随机变量，概率为$p_i$。
给定$I=i$时，观测变量$X$的分布为$F_i$，即$$[X\mid I=i]\sim F_i$$
那么总体上，称$X$的分布是一个混合分布：
$$F_X(x)=p_1{F}_1(x)+...+p_m{F}_m(x)$$
如果每个$F_i$有密度函数$f_i(x)$，则联合密度为：
$$f_X(x)=p_1{f}_1(x)+...+p_m{f}_m(x)$$

特别的，当每个成分都是正态分布时，$X$称为高斯混合模型（GMM）
$$f_X(x)=p_1\mathcal{N}({\mu }_1,{\Sigma }_1)+...+p_m\mathcal{N}({\mu }_m,{\Sigma }_m)$$

还有一种特殊的混合模型，用于处理数据中过多的零值：
$$P(X=x)=\pi {\delta }_0(x)+(1-\pi )\text{Poi}(x;\lambda )$$
其中：

• $\pi$表示额外的$0$发生的概率
• $(1-\pi )$是来自泊松分布的概率
• ${\delta }_0$是$x=0$处的点质量。

多元正态分布的条件分布

如果$x\sim \mathcal{N}(0,\Sigma )$，其中$\Sigma =\left[\begin{array}{cc}A& B\\ C& D\end{array}\right]$，我们可以证明：
$$x_A\mid x_D\sim \mathcal{N}(0,A-B{D}^{-1}C)$$
如果设$\Omega ={\Sigma }^{-1}$，则也可以写成：
$$x_A\mid x_D\sim \mathcal{N}(0,[{\Omega }_A{]}^{-1})$$

精度矩阵 （precision matrix）

多元正态分布的概率密度函数可以自然地用精度矩阵（也称浓度矩阵）$\Omega ={\Sigma }^{-1}$来参数化。
$$f(x)\propto \exp \left(-\frac{1}{2}(x-\mu {)}^{\top }\Omega (x-\mu )\right)$$

• 精度矩阵$\Omega$编码的是变量之间的条件依赖关系（conditional dependencies）
• 协方差矩阵$\Sigma$编码的是边际依赖关系（marginal dependencies）
• 换句话说：协方差反映的是变量间的直接相关性；而精度矩阵反映的是在给定其他所有变量的情况下，两个变量是否还相互依赖。

如果精度矩阵中某个元素${\Omega }_{ij}=0$，则表示变量$X_i$和$X_j$在给定其他所有变量的条件下是独立的（conditionally independent）：
$$f(x_1,x_2\mid x_{\perp })=f(x_1\mid x_{\perp })\cdot f(x_2\mid x_{\perp })$$
其中$x_{\perp }$表示除$x_1$和$x_2$外的所有其他变量。