离散时间马尔可夫链

离散时间马尔可夫链（Discrete - Time Markov Chain，DTMC）是概率论和随机过程中的一个重要概念，以下是关于它的详细介绍：

基本定义

离散时间马尔可夫链是具有马尔可夫性质的离散时间随机过程。具体来说：

• 离散时间：时间是离散的，通常用 $n=0,1,2,\cdots$ 表示时刻，时间间隔是固定的，比如按天、按小时等进行划分 。
• 状态空间：系统可以处于有限个或可数无穷个状态，用 S={s1,s2,⋯ }S=\{s_1, s_2,\cdots\}S={s1​,s2​,⋯} 表示状态空间，其中的元素 $s_i$ 就是系统可能的状态 。
• 马尔可夫性质：在给定当前状态的情况下，系统未来的状态只依赖于当前状态，而与过去的状态无关。用数学语言表达为：对于任意的时刻 $n$ 和状态 $i,j,i_0,i_1,\cdots ,i_{n-1}$，有 $P(X_{n+1}=j|X_n=i,X_{n-1}=i_{n-1},\cdots ,X_0=i_0)=P(X_{n+1}=j|X_n=i)$ ，其中 $X_n$ 表示在时刻 $n$ 系统所处的状态。

转移概率

• 一步转移概率：从状态 $i$ 转移到状态 $j$ 的一步转移概率 $p_{ij}$ 定义为 $p_{ij}=P(X_{n+1}=j|X_n=i)$，表示在时刻 $n$ 处于状态 $i$ 的条件下，下一时刻 $n+1$ 转移到状态 $j$ 的概率。所有的一步转移概率可以组成一个转移概率矩阵 $P=(p_{ij})$ ，该矩阵满足每行元素之和为 $1$，即 ${\sum }_{j\in S}{p}_{ij}=1$ ，因为从某一状态出发，下一步必然转移到状态空间中的某个状态。
• $n$步转移概率：从状态 $i$ 经过 $n$ 步转移到状态 $j$ 的概率，记为 $p_{ij}^{(n)}=P(X_{m+n}=j|X_m=i)$ 。根据 Chapman - Kolmogorov 方程，$n$步转移概率和一步转移概率之间存在关系 $p_{ij}^{(m+n)}={\sum }_{k\in S}{p}_{ik}^{(m)}{p}_{kj}^{(n)}$ ，这使得我们可以通过一步转移概率矩阵的幂运算来计算 $n$步转移概率，即 $P^{(n)}=P^n$ 。

示例

• 天气预报模型：假设天气状态只有晴天、多云、雨天三种，状态空间 S={晴天,多云,雨天}S = \{ \text{晴天}, \text{多云}, \text{雨天}\}S={晴天,多云,雨天} 。如果今天是晴天，明天是晴天的概率为 $0.6$，是多云的概率为 $0.3$，是雨天的概率为 $0.1$ ；今天是多云，明天是晴天、多云、雨天的概率分别为 $0.4$，$0.4$，$0.2$ ；今天是雨天，明天是晴天、多云、雨天的概率分别为 $0.2$，$0.4$，$0.4$ 。则一步转移概率矩阵为：
  $$P=\left(\begin{array}{ccc}0.6& 0.3& 0.1\\ 0.4& 0.4& 0.2\\ 0.2& 0.4& 0.4\end{array}\right)$$

通过这个马尔可夫链模型，我们可以预测未来若干天的天气状态概率 。

• 网页浏览模型：把网页看作状态，用户在浏览网页时，从一个网页跳转到另一个网页的行为可以用离散时间马尔可夫链来建模。状态空间就是所有网页的集合，一步转移概率表示从一个网页跳转到另一个网页的概率。

应用领域

• 通信领域：用于信道建模、数据传输中的错误预测和纠错等 。
• 金融领域：分析股票价格的波动、信用风险评估等 。
• 生物信息学：研究 DNA 序列的变化、蛋白质折叠过程等 。
• 计算机科学：如搜索引擎的网页排名算法（PageRank 算法的基础思想就与马尔可夫链有关）、人工智能中的强化学习等 。