当前位置：首页 > news >正文

随机过程笔记

news 2025/9/20 12:13:49

概率空间和随机对象

概率空间

Borel集

样本空间 $S$ 的某些子集组成的一个集合,记作 $\mathcal{B}$ 。若 $\mathcal{B}$ 满足:

$1)\quad S\in\mathcal{B},\quad\phi\in\mathcal{B}$

$2)\quad A\in\mathcal{B},\quad \overline{A}\in\mathcal{B}$

$3)\quad A_i\in\mathcal{B},\quad \bigcup_{i=1}^\infty A_i\in\mathcal{B}$

称 $B$ 是定义在样本空间 $S$ 上的 $Borel$ 集。

例子：

样本空间 $S$ : {1, 2, 3, 4, 5, 6}
一个 $\mathcal{B}$ : { Ø, S, {1}, {2, 3, 4, 5, 6} }
- Ø 代表空集。
- S 代表整个样本空间。
- {1} 代表一个事件（抛出1点）。
- {2, 3, 4, 5, 6} 代表事件 {1} 的补集（抛出不是1的点）。

验证它是否是Borel事件集：

包含全集和空集：S 和 Ø 都在里面。 ✅
对补集封闭：
- {1} 的补集是 {2,3,4,5,6}，它在集合里。 ✅
- {2,3,4,5,6} 的补集是 {1}，它在集合里。 ✅
- S 的补集是 Ø，它在集合里。 ✅
- Ø 的补集是 S，它在集合里。 ✅
对可数并封闭：
- 任意取集合里的事件做并集，结果都仍然在这个集合里。
- 例如：{1} ∪ Ø = {1} ✅
- {1} ∪ {2,3,4,5,6} = S ✅
- {1} ∪ S = S ✅
- ...所有可能组合都满足。

验证通过，{ Ø, S, {1}, {2, 3, 4, 5, 6} } 是一个合法的Borel事件集。

最小Borel事件集:

样本空间 $S$ : {1, 2, 3, 4, 5, 6}
$\mathcal{B}$ : { Ø, S }
- 这是最小的Borel事件集，永远成立。
- 只包含必然事件和不可能事件。

最大Borel事件集:

样本空间 $S$ : {1, 2, 3, 4, 5, 6}
$\mathcal{B}$ : P(S)，即 $S$ 的所有子集的集合。
- 例如，{1}, {2}, {1,2}, {1,3,5}, {2,4,6}等等，所有64个可能的子集都是这个σ代数的元素。
- 这是最大的Borel事件集。

概率集函数

$1)\quad P(\overline{A})=1-P(A)$

$2)\quad P(A){\leq}1$

$3)\quad P(\phi)=0$

$4)\quad$ 若 $A_1,A_2,...A_n\in\mathcal{B}$ ，且 $A_{\mathrm{i}}A_{\mathrm{j}}\overline{=}\phi\left(i\neq j\right)$ 则

$P(\sum_{k=1}^nA_k)=\sum_{k=1}^nP(A_k)$

$5)\quad P(A\cup B)=P(A)+P(B)-P(AB)$

$6)\quad \begin{aligned}&\forall A,B\in\mathcal{B}\\&P(A\setminus B)=P(A)-P(AB)\end{aligned}$

$7)\quad\begin{aligned}&B\subset A\\&P(A-B)=P(A)-P(B)\end{aligned}$

$8)$ 若 $A\subset B$ , 则 $P(A)\leq P(B)$

条件概率的定义

$P(A\mid B)=\frac{P(A\cap B)}{P(B)},P(B)>0$

独立性

若 $P(A_1A_2)=P(A_1)P(A_2)$ ,称事件 $A_1,A_2$ 相互独立。

若 $P(A_1\mid A_2)=P(A_1)\cdots$

独立性与互斥性

独立表示没有关系，而互斥是一种对立关系，即 $A$ 发生则 $B$ 不能发生， $A$ 对 $B$ 是有影响的，反之亦然。所以互斥事件一定不独立。独立事件一定不互斥。

全概率公式

$P(B)=P(B|A_1)P(A_1)+P(B|A_2)P(A_2)+\cdots+P(B|A_N)P(A_N)$

在连续条件下的推广：

$P(B)=\int_{-\infty}^{\infty}P(B|x)f_X(x)dx$

贝叶斯公式

$P(A_i\mid B)=\frac{P(B\mid A_i)P(A_i)}{\sum_{j=1}^nP(B\mid A_j)P(A_j)},i=1,2,\cdots,n.$

$P(A_i\mid B)$ ：后验概率

$P(A_{j})$ ：先验概率

随机变量

随机对象

当样本空间为一维实数集合时，则称该一维实变量为随机变量。
当样本空间为高维实数空间时，则称该高维实数变量为随机向量。
当样本空间为定义于某个数集上的函数组成，则称该函数集合为随机过程。

概率质量函数

$\sum_{i=1}^\infty P(x_i)=1$

任何一种离散型随机变量都可以统一地用概率质量函数表示。

其他事件的概率通过概率质量函数计算得到

连续型随机变量不可以用概率质量函数表示

概率生成函数

设随机变量 $X$ 的取值和概率分别为 $x_i,p_i$ ,则

X的概率生成函数为 $G_X(z)=\sum_{k=0}^\infty z^kp_k\cong Z[p(k)]$

$p_k=\frac{G_X^{(k)}(0)}{k!}$

展开生成函数：

$G_X(z)=p_0+p_1z+p_2z^2+p_3z^3+...+p_kz^k+...$

求一阶导数：

$G_X^{\prime}(z)=p_1+2p_2z+3p_3z^2+...+kp_kz^{k-1}+...$

现在，令 $z=0$ ，所有包含 $z$ 的项都变为 0：

$G_X^{\prime}(0)=p_1$

求 k 阶导数：

$G_X^{(k)}(z)=k!p_k+...$

z = 0代入：

$G_X^{(k)}(0)=k!p_k$

例子泊松分布

$P(X=k)=p_k=\frac{\lambda^ke^{-\lambda}}{k!},\quad k=0,1,2,...$

概率生成函数：

$\begin{aligned}G_{X}(z)&=E[z^X]=\sum_{k=0}^\infty z^kP(X=k)\\&=\sum_{k=0}^\infty z^k\cdot\frac{\lambda^ke^{-\lambda}}{k!}\\&=e^{-\lambda}\sum_{k=0}^\infty\frac{(z\lambda)^k}{k!}\\&=e^{-\lambda}\cdot e^{z\lambda}\\&=e^{\lambda(z-1)}\end{aligned}$

用生成函数求概率：

求 $P(X=2)$ ：

$\begin{aligned}&G_{X}^{\prime}(z)=\frac{d}{dz}[e^{\lambda(z-1)}]=\lambda e^{\lambda(z-1)}\\&G_{X}^{\prime\prime}(z)=\frac{d}{dz}[\lambda e^{\lambda(z-1)}]=\lambda^2e^{\lambda(z-1)}\end{aligned}$

得到：

$P(X=2)=\frac{G_X^{\prime\prime}(0)}{2!}=\frac{\lambda^2e^{-\lambda}}{2}$

概率分布函数

$F_X(x)=P(X\leq x)$

$1)\quad 0\leq F_X(x)\leq1$

$2)\quad \lim_{x\to+\infty}F_X(x)=1\quad\lim_{x\to-\infty}F_X(x)=0$

$3)\quad F_X(x)$ 单调递增，若 $a<b$ ，则 $F_X(a)\leq F_X(b)$

$4)\quad F_X(x)$ 右连续，即 $F_X(a+0)=\lim_{x\to a+}F_X(x)=F_X(a)$

$5)\quad P(a<X\leq b)=F_X(b)-F_X(a)$

$6)\quad \begin{aligned}&P(X=a)=F_X(a+)-F_X(a-)=F_X(a)-F_X(a-)\\&P(a\leq X\leq b)=P(X=a)+P(a<X\leq b)\\&=F_X(b)-F_X(a-)\end{aligned}$

概率密度函数

$f_X(x)=\frac{d}{dx}F_X(x)$

$1)\quad f_X(x)\geq0.$

$2)\quad \int_{-\infty}^\infty f_X(x)\operatorname{d}x=1.$

$3)$ 对任意实数 $a,b,(a\leq b)$

$P(a<X\leq b)=F_X(b)-F_X(a)=\int_a^bf_X(x)\mathrm{d}x.$

$F_X(x)=P(X\leq b)=F_X(x)-F_X(-\infty)=\int_{-\infty}^xf_X(x)\operatorname{d}x.$

$P(a\leq X\leq b)=\int_{a-}^bf_X(x)\operatorname{d}x.$

$P(X=a)=F_{X}(a+)-F_{X}(a-)=F_{X}(a)-F_{X}(a-)=\int_{a-}^{a+}f_{X}(x)\mathrm{d}x=\int_{a-}^{a}$

$P(a<X<b)=\int_a^{b-}\\P(a\leq X<b)=\int_{a-}^{b-}$

概率特征函数

$\Phi_X(\omega)=\int_{-\infty}^\infty f_X(x)e^{j\omega x}dx$

$f_X(x)=\frac{1}{2\pi}\int_{-\infty}^\infty\Phi_X(\omega)e^{-j\omega x}d\omega$

$1) \quad \Phi_X(0)=1$

$2) \quad \left|\Phi_X(\omega)\right|\leq\Phi_X(0)$

$3)\quad \overline{\Phi_X(\omega)}=\Phi_X(-\omega)$

$4)$ 设 $Y=aX+b,a,b\in\mathbb{R},$ 则 $\Phi_y(\omega)=e^{j\omega b}\Phi_x(a\omega)$

例子：

分布函数：

当 $x<0$ 时：

$F(x)=\int_{-\infty}^xf(y)dy=\int_{-\infty}^x0dy=0$

当 $x\geq0$ 时：

$F(x)=\int_{-\infty}^xf(y)dy=\int_{-\infty}^0f(y)dy+\int_0^xf(y)dy$

$\int_0^x\lambda e^{-\lambda y}dy=\lambda\int_0^xe^{-\lambda y}dy=\lambda\left[\frac{e^{-\lambda y}}{-\lambda}\right]_0^x=-\left[e^{-\lambda y}\right]_0^x$

$F(x)=0+(1-e^{-\lambda x})=1-e^{-\lambda x}$

特征函数：

$\Phi_X(\omega)=\int_{-\infty}^\infty e^{j\omega x}f(x)dx=\int_{-\infty}^0e^{j\omega x}\cdot0dx+\int_0^\infty e^{j\omega x}\cdot\lambda e^{-\lambda x}dx$