应用随机过程(一)

应用随机过程（一）

本文旨在简单梳理应用随机过程的定义及性质，为了更好学习统计机器学习相关论文。

一、引入

1.1 概率空间及三要素

概率论的基本模型是概率空间$(\Omega ,\mathcal{F},P)$，由三部分组成：样本空间$\Omega$、事件集合（$\sigma$-代数）$\mathcal{F}$和概率测度$P$。

• 样本空间$\Omega$：随机试验所有可能基本结果的集合。例如，掷一次硬币的结果样本空间可取$\Omega =H,T$；掷两次硬币则$\Omega =HH,HT,TH,TT$。
• 事件集合$\mathcal{F}$：$\Omega$的若干子集所构成的集合族，是一个$\sigma$-代数。它至少包含$\varnothing$和$\Omega$，对补集运算和可列并运算封闭。$\mathcal{F}$的元素称为事件，如$A\subset \Omega$，若$A\in \mathcal{F}$即为一个事件。
• 概率测度$P$：定义在$(\Omega ,\mathcal{F})$上的非负测度，满足$P(\Omega )=1$，并对互不相容事件可列可加。概率测度给出每个事件发生的概率（满足$0\le P(A)\le 1$）。由此得到的$(\Omega ,\mathcal{F},P)$即称为概率空间。

在随机过程建模中，我们首先固定一个概率空间，所有随机过程中的随机变量（随机过程的各个取值$X(t)$）均定义在此统一的概率空间上，用以描述随机现象的不确定性。

1.2 随机变量

定义：随机变量$X$是定义在概率空间$(\Omega ,\mathcal{F},P)$上的可测实值函数。即对任意实数$x$，集合$\omega :X(\omega )\le x\in \mathcal{F}$。其分布函数（CDF）定义为
FX(x)=P{X≤x}=P{ω:X(ω)≤x},−∞<x<∞, F_X(x)=P\{X\leq x\}=P\{\omega:X(\omega)\leq x\},\quad-\infty<x<\infty, FX​(x)=P{X≤x}=P{ω:X(ω)≤x},−∞<x<∞,
满足单调非减、右连续，以及${\lim }_{x\to -\infty }{F}_X(x)=0,;{\lim }_{x\to +\infty }{F}_X(x)=1$。

随机变量根据取值性质分为：

• 离散型随机变量：取值于有限或可列集$x_k$，存在概率质量函数（PMF）$p_k=P(X=x_k)$，满足${\sum }_k{p}_k=1$。分布函数为$F_X(x)={\sum }_{x_k\le x}{p}_k$。例如，投掷骰子结果（$1,\dots ,6$）是离散均匀分布，抛硬币成功记$1$失败记$0$则服从参数$p$的伯努利分布，$P(X=1)=p,P(X=0)=1-p$。
• 连续型随机变量：存在非负概率密度函数（PDF）$f_X(x)$使得$F_X(x)={\int }_{-\infty }^x{f}_X(t),dt$。密度满足${\int }_{-\infty }^{\infty }{f}_X(x)dx=1$。例如，标准正态分布$N(0,1)$的密度$f(x)=\frac{1}{\sqrt{2\pi }}{e}^{-x^2/2}$。连续型变量$X$取任意特定值的概率为0，即$P(X=x)=0$。
• 混合型：具有既有离散部分又有连续部分的分布形式，此处略。

1.3数字特征

数字特征是对随机变量或随机过程统计性质的刻画，包括均值、方差、矩、协方差、自相关等：

1. 均值函数（数学期望）
   随机过程 $X(t)$ 在时刻 $t$​ 的期望值:
   $$m_X(t)=E[X(t)]$$

2. 方差函数
   随机过程 $X(t)$ 在时刻 $t$​ 的取值波动程度:
   $${\sigma }_X^2(t)=\text{Var}[X(t)]=E\left[(X(t)-m_X(t){)}^2\right]$$

3. 矩 (Moments)：
   $$\begin{gathered} \text{k 阶原点矩: }E[X^k(t)] \\ \text{k 阶中心矩: }E\left[(X(t)-m_X(t){)}^k\right] \end{gathered}$$
   注: 一阶原点矩是均值, 二阶中心矩是方差。

4. 自协方差函数

   同一过程两时刻 $t_1$, $t_2$ 的联合波动:
   $$C_X(t_1,t_2)=\text{Cov}[X(t_1),X(t_2)]=E\left[(X(t_1)-m_X(t_1))(X(t_2)-m_X(t_2))\right]$$

1.4 矩母函数

随机变量$X$的矩母函数定义为
$${\varphi }_X(t)=E[e^{tX}]={\int }_{-\infty }^{\infty }{e}^{tx}d{F}_X(x)={\int }_{-\infty }^{\infty }{e}^{tx}f(x)dx,$$
若其在包含原点的某个非零区间内取有限值，则称${\varphi }_X(t)$为$X$的矩母函数。矩母函数存在时可通过对其在$t=0$处多次求导获得矩：
$${\varphi }_X^{(n)}(0)=E[X^n],n=1,2,\dots$$
前提是可交换求导与取期望的次序。

例如标准正态分布$N(0,1)$的矩母函数为$\varphi (t)=e^{t^2/2}$，由此可推得$E[X]=0,E[X^2]=1,E[X^4]=3$等。矩母函数存在时，它唯一决定分布，常用来研究独立随机变量和的分布及简化计算。但对于某些分布（如柯西分布）矩母函数可能不存在。

矩母函数的存在性条件：要求${\varphi }_X(t)$在$t=0$邻域内有限。若$X\ge 0$，则${\varphi }_X(t)$在$(-\infty ,0]$总是有限。通过${\varphi }_X(t)$可以系统地求取各种原点矩，并判断矩存在性。

1.5 特征函数（解决了某些分布不存在矩母函数的问题）

随机变量$X$的特征函数定义为
$${\psi }_X(t)=E[e^{itX}]={\int }_{-\infty }^{\infty }{e}^{itx}d{F}_X(x)={\int }_{-\infty }^{\infty }{e}^{itx}f(x)dx,$$
其中$i=\sqrt{-1}$，$t\in \mathbb{R}$。因为$|e^{itX}|=1$，特征函数对所有实数$t$均存在且为有界复值函数（$\psi (0)=1$）。如果$X$有密度$f(x)$，则${\psi }_X(t)$即$f(x)$的傅里叶变换。

性质及用途：

• 特征函数唯一性定理：分布函数由其特征函数唯一确定。换言之，如果两个随机变量具有相同的特征函数，则它们的分布完全相同。
• 运算性质：线性变换$Y=aX+b$对应${\psi }_Y(t)=e^{ibt}{\psi }_X(at)$；独立随机变量之和的特征函数是各自特征函数的乘积。这些性质使特征函数在研究独立性、和分布时非常便捷。
• 矩与泰勒展开：若$E[X^n]$存在，则${\psi }_X(t)$在$t=0$处可展开，${\psi }_X^{(k)}(0)=i^{k}E[X^k]$，表明特征函数包含所有矩信息。
• 收敛性（Lévy连续性定理）：随机变量序列$X_n$依分布收敛于$X$当且仅当其特征函数${\psi }_{X_n}(t)$逐点收敛到${\psi }_X(t)$。这一性质在证明中心极限定理和分布收敛等极限理论中有重要应用。

例子：单点分布$P(X=c)=1$的特征函数为$e^{ict}$；指数分布$\mathrm{Exp}(\lambda )$的特征函数为$\psi (t)=(1-it/\lambda {)}^{-1}$（$\lambda >0$）；标准正态分布$N(0,1)$的特征函数为$e^{-t^2/2}$。

1.6 随机过程

定义：随机过程是定义在统一概率空间$(\Omega ,\mathcal{F},P)$上的一族随机变量
{X(t),t∈T} \{{X(t), t\in T}\} {X(t),t∈T}
这里参数$t$属于参数集$T$（可为时间、空间等，如时间轴），每个$X(t)$都是单独的随机变量。直观上，随机过程可视为随$t$变化的随机样本函数。随机过程与随机变量的关系是：随机过程是随机变量按参数$t$的集合，各个$X(t)$在数学上本质上是相互关联的随机变量集。

基本性质：对随机过程$X(t)$，其均值函数和协方差函数定义如前所述。若过程平稳，则${\mu }_X(t)=\mu$为常数，且$\gamma (t,t+\tau )=\gamma (\tau )$。这些性质在时间序列分析和信号处理中尤为重要，例如平稳序列的统计推断往往依赖对均值和自协方差函数的估计。

分类：

类型	时间 T	状态空间 S	典型例子
离散时间 + 离散状态	离散（整数）	离散	马尔可夫链（天气预测）
连续时间 + 离散状态	连续（实数）	离散	泊松过程（电话呼叫数）
离散时间 + 连续状态	离散	连续	ARIMA 模型（股票收益率）
连续时间 + 连续状态	连续	连续	布朗运动（微粒运动）

二、平稳过程与独立增量过程

2.1 严平稳

定义：如果随机过程 {X(t),t∈T}\{X(t), t \in T\}{X(t),t∈T} 的所有有限维分布在时间平移下不变，即对任意 $t_1,t_2,\dots ,t_n\in T$ 和任意时间平移 $\tau$，有：
$$(X(t_1),X(t_2),\dots ,X(t_n))\stackrel{d}{=}(X(t_1+\tau ),X(t_2+\tau ),\dots ,X(t_n+\tau ))$$
其中 $\stackrel{d}{=}$ 表示分布相同。

2.2 宽平稳 / 二阶平稳

定义 (宽平稳):如果{X(t)}\{X(t)\}{X(t)}满足
$$\begin{gathered} \text{1. 均值为常数(恒定)：}{\mu }_X(t)=E[X(t)]=\mu \text{(与t 无关),} \\ \text{2. 协方差仅依赖时间差：}\mathrm{Cov}(X(s),X(t))=\gamma (t-s)\text{(只依赖}\tau =t-s), \end{gathered}$$
并且二阶矩存在 (即所有这些期望和协方差有限),则称为宽平稳 (或二阶平稳)。其中$t$与$s$是两个时间点。

常用记号：

• 均值$\mu$ (常数)。
• 自协方差函数 $\gamma (\tau )=$Cov$\left(X(t),X(t+\tau )\right).$
• 自相关函数( 标 准 化 ) : $\rho (\tau )=\frac{\gamma (\tau )}{\gamma (0)},|\rho (\tau )|\le 1$。

性质：

• $\gamma (-\tau )=\gamma (\tau )$(偶函数);
• $\gamma (0)=$Var$(X(t))\ge 0;$
• 正定性：对任意有限集合$t_1,\dots ,t_n$和实数$a_1,\dots ,a_n$,有${\sum }_{i,j}{a}_i{a}_j\gamma (t_i-t_j)\ge 0$。(这保证协方差矩阵是正半定的。)
• 宽平稳只关心二阶结构(均值和自协方差),比严格平稳弱很多，便于实践估计与推断。

---

已知宽平稳过程 $X(t)$ 的自相关函数 $R_X(\tau )=\cdots$，求均值/方差/协方差,解法公式:

• 均值：$\mu =E[X(t)]$（通常直接给出或隐含）
• 方差：${\sigma }^2=\text{Var}(X(t))=R_X(0)-{\mu }^2$
• 协方差：$\text{Cov}(X(t),X(t+\tau ))=R_X(\tau )-{\mu }^2$

2.3 独立增量与平稳增量

定义 (独立增量): 对任意时刻$0\le t_0<t_1<\cdots <t_n$,若增量
$$X(t_1)-X(t_0),X(t_2)-X(t_1),\dots ,X(t_n)-X(t_{n-1})$$
相互独立，则称$X(t)$具有独立增量特性。

---

定义 (平稳增量): 若对任意$s$与任意长度$h\ge 0$,增量$X(s+h)-X(s)$的分布只依赖于$h$ (与起点$s$无关),则称过程有平稳增量(或增量平稳/stationary increments)。也就是说，增量的分布由区间长度决定。

---

2.4 平稳过程与独立增量过程（例）

部分文献或教材会将$R(t_1,t_2)=E[X(t_1)X(t_2)]$称为“自相关函数”(未扣除均值的非标准化版本),此时：

• 若$X(t)$的均值$\mu (t)=0$,则$R(t_1,t_2)=C(t_1,t_2)$ (两者数值相等，但名称仍有区别);
• 若$\mu (t)\ne 0$,则$R(t_1,t_2)=C(t_1,t_2)+\mu (t_1)\mu (t_2)$。

1.设 $X(t)=A\cos (\omega t+\Theta )$，其中 $A,\omega$ 为常数，$\Theta \sim \text{Uniform}(0,2\pi )$。判断是否宽平稳。

均值：
$$E[X(t)]=E[A\cos (\omega t+\Theta )]=\frac{A}{2\pi }{\int }_0^{2\pi }\cos (\omega t+\theta )d\theta =0(\text{恒定})$$
自协方差函数（均值为0，或被成为自相关函数）：
$$R_X(t,t+\tau )=E[A^2\cos (\omega t+\Theta )\cos (\omega (t+\tau )+\Theta )]=\frac{A^2}{2}\cos (\omega \tau )(\text{仅依赖 }\tau )$$

2.设随机过程 $X(t)=t^2+W_t$,$W_t$是标准布朗运动。判断是否宽平稳。

均值函数：
$${\mu }_X(t)=E\left[\begin{array}{c}{t}^2+W_t\end{array}\right]=t^2+E[W_t]=t^2$$
均值依赖于 $t$，不满足宽平稳的基本条件，因此 $X(t)=t^2+W_t$ 不是宽平稳过程。

3.宽平稳过程 $X(t)$ 的自相关函数 $R_X(\tau )=4e^{-|\tau |}\cos (2\pi \tau )+1$。求 Var($X(t)$)。提示：$${\mu }_X=E[X(t)]\text{（均值，为常数）},\text{ 且 }{\mu }_X^2=\underset{\tau \to \infty }{\lim }{R}_X(\tau )\text{（宽平稳过程中，自相关函数在 }\tau \to \infty \text{ 时收敛到均值的平方）}.$$

计算 $R_X(0)$:
$$R_X(0)=4e^0\cos (0)+1=4\times 1\times 1+1=5$$
计算 ${\mu }_X^2$:

当 $\tau \to \infty$ 时，$e^{-|\tau |}\to 0$，因此 $4e^{-|\tau |}\cos (2\pi \tau )\to 0$，故:

$$\underset{\tau \to \infty }{\lim }{R}_X(\tau )=1$$
由宽平稳性质，${\lim }_{\tau \to \infty }{R}_X(\tau )={\mu }_X^2$，因此 ${\mu }_X^2=1$。

计算方差:
$$\mathrm{Var}(X(t))=R_X(0)-{\mu }_X^2=5-1=4$$

4.设宽平稳过程 $X(t)$ 满足 $E[X(t)]=2$,$R_X(\tau )=9e^{-|\tau |}+4$。求 $Cov(X(1),X(3))$

确定时间差 $\tau$:
$$t_1=1,t_2=3,\text{故时间差 }\tau =3-1=2。$$
计算 $R_X(\tau )$ 和 ${\mu }_X^2$:
$$\begin{gathered} R_X(2)=9e^{-|2|}+4=9e^{-2}+4 \\ {\mu }_X^2=2^2=4 \end{gathered}$$
计算协方差:
$$\mathrm{Cov}(X(1),X(3))=R_X(2)-{\mu }_X^2=(9e^{-2}+4)-4=9e^{-2}$$

5.设 {N(t)}\{N(t)\}{N(t)}是强度$\lambda =2$的泊松过程(平稳独立增量)。已知$N(1)=3$,求 $P(N(4)=5|N(1)=3)$.(注：仅供参考，此时尚未学习泊松过程)

泊松过程 {N(t),t≥0}\{N(t), t \geq 0\}{N(t),t≥0} 具有平稳独立增量性，即：

• 对任意 $0\le s<t$，增量 $N(t)-N(s)$ 服从参数为 $\lambda (t-s)$ 的泊松分布；
• 增量 $N(t)-N(s)$ 与区间 $[0,s]$ 上的过程（如 $N(s)$）相互独立。

根据泊松过程的“增量分解”:

$$N(4)=N(1)+[N(4)-N(1)]$$

已知$N(1)=3$,则 "$N(4)=5^{\prime \prime }$等价于“$N(4)-N(1)=5-3=2^{\prime \prime }$。

又因为增量$N(4)-N(1)$与N( 1)独立(平稳独立增量性 ) , 因此 :

$P(N(4)=5\mid N(1)=3)=P\left(N(4)-N(1)=2\mid N(1)=3\right)=P\left(N(4)-N(1)=2\right)$

增量$N(4)-N(1)$对应的时间区间长度为4-1=3,泊松过程强度$\lambda =2$ ,因此该增量服从参数为
$\mu =\lambda \times 3=2\times 3=6$的泊松分布。

泊松分布的概率质量函数为：

$$P(X=k)=\frac{e^{-\mu }\cdot {\mu }^k}{k!}$$

令$X=N(4)-N(1)$,则$\mu =6$,$k=2$,代入得：

$$P\left(N(4)-N(1)=2\right)=\frac{e^{-6}\cdot 6^2}{2!}=\frac{e^{-6}\cdot 36}{2}=18e^{-6}$$

6.设{Xn}\{X_n\}{Xn​}是独立同分布随机序列,$E[X_n]=0$,$Var(X_n)={\sigma }^2$。证明{Xn}\{X_n\}{Xn​} 严平稳。

已知{Xn}\left\{X_n\right\}{Xn​}是独立同分布序列，因此：

• 同分布性：对任意$n$,$X_n$与$X_{n+k}$分布相同 (记为$X_n=X_{n+k}$);
• 独立性：对任意时刻集合{t1,t2,…,tm}\{t_1,t_2,\ldots,t_m\}{t1​,t2​,…,tm​} , $X_{t_1},X_{t_2},\dots ,X_{t_m}$相互独立；且平移后的序列$X_{t_1+k},X_{t_2+k},\dots ,X_{t_m+k}$也相互独立 (独立性不随时间平移改变)。

对于原时刻 $t_1,t_2,\dots ,t_m$，联合分布函数为：

$F_{t_1,\dots ,t_m}(x_1,\dots ,x_m)=P(X_{t_1}\le x_1,X_{t_2}\le x_2,\dots ,X_{t_m}\le x_m)$

由独立性，联合分布是边缘分布的乘积：

$F_{t_1,\dots ,t_m}(x_1,\dots ,x_m)={\prod }_{i=1}^{m}P(X_{t_i}\le x_i)$

对于平移后的时刻 $t_1+k,t_2+k,\dots ,t_m+k$，联合分布函数为：

$F_{t_1+k,\dots ,t_m+k}(x_1,\dots ,x_m)=P(X_{t_1+k}\le x_1,X_{t_2+k}\le x_2,\dots ,X_{t_m+k}\le x_m)$

同样由独立性，联合分布为边缘分布的乘积：

$F_{t_1+k,\dots ,t_m+k}(x_1,\dots ,x_m)={\prod }_{i=1}^{m}P(X_{t_i+k}\le x_i)$

由于{Xn}\left\{X_n\right\}{Xn​}是同分布的，对任意$i,X_{t_i}$与$X_{t_i+k}$分布相同，即：

$$P(X_{t_i}\le x_i)=P(X_{t_i+k}\le x_i)$$

因此，两个联合分布的乘积相等：

$$\prod _{i=1}^{m}P(X_{t_i}\le x_i)=\prod _{i=1}^{m}P(X_{t_i+k}\le x_i)$$ 即：

$$F_{t_1,\dots ,t_m}(x_1,\dots ,x_m)=F_{t_1+k,\dots ,t_m+k}(x_1,\dots ,x_m)$$

总结：

• 自协方差${\gamma }_X(\tau )$:未标准化，含量纲；
• 自相关${\rho }_X(\tau )$:标准化后，范围在[-1,1];
• $R_X(\tau )$:常用来指代相关函数$E[X(t)X(t+\tau )]$,在零均值情形下和自协方差相同。