本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！

一、核心定义：无记忆的随机演化

马尔可夫链（Markov Chain） 是一种具有马尔可夫性质的离散随机过程，其核心特征是：

未来状态仅取决于当前状态，与历史路径无关

数学表述：
[
$P(X_{t+1} = x_{t+1} \mid X_t = x_t, X_{t-1} = x_{t-1}, \dots, X_0 = x_0) = P(X_{t+1} = x_{t+1} \mid X_t = x_t)$
]

往期文章推荐:

20.条件概率：不确定性决策的基石
19.深度解读概率与证据权重 -Probability and the Weighing of Evidence
18.WOE值：风险建模中的“证据权重”量化术——从似然比理论到FICO评分卡实践
17.KS值：风控模型的“风险照妖镜”
16.如何量化违约风险？信用评分卡的开发全流程拆解
15.CatBoost：征服类别型特征的梯度提升王者
14.XGBoost：梯度提升的终极进化——统治Kaggle的算法之王
13.LightGBM：极速梯度提升机——结构化数据建模的终极武器
12.PAC 学习框架：机器学习的可靠性工程
11.Boosting：从理论到实践——集成学习中的偏差征服者
10.GBDT：梯度提升决策树——集成学习中的预测利器
9.集成学习基础：Bagging 原理与应用
8.随机森林详解：原理、优势与应用实践
7.经济学神图：洛伦兹曲线
6.双生“基尼”：跨越世纪的术语撞车与学科分野
5.CART算法全解析：分类回归双修的决策树之王
4.C4.5算法深度解析：决策树进化的里程碑
3.决策树：化繁为简的智能决策利器
2.深入解析ID3算法：信息熵驱动的决策树构建基石
1.类图：软件世界的“建筑蓝图”

二、数学建模：状态空间与转移矩阵

1. 状态空间（State Space）

有限状态： ( $\mathcal{S} = \{s_1, s_2, \dots, s_N\}$ ) （如天气：晴/雨/阴）
无限状态： ( $\mathcal{S} = \mathbb{Z}$ ) （如随机游走位置）

2. 转移概率矩阵（Transition Matrix）

定义从状态 ( i ) 到状态 ( j ) 的一步转移概率：
[
$P_{ij} = P(X_{t+1} = s_j \mid X_t = s_i)$
]
矩阵形式：
[
$\mathbf{P} = \begin{bmatrix} P_{11} & P_{12} & \cdots & P_{1N} \\ P_{21} & P_{22} & \cdots & P_{2N} \\ \vdots & \vdots & \ddots & \vdots \\ P_{N1} & P_{N2} & \cdots & P_{NN} \end{bmatrix}$
]
性质：每行和为1（ ( \sum_j P_{ij} = 1 ) ）

例：天气预报的转移矩阵（晴 → 晴：0.8，晴 → 雨：0.2）
[
$\mathbf{P} = \begin{bmatrix} 0.8 & 0.2 \\ 0.3 & 0.7 \end{bmatrix} \quad \text{(状态：晴, 雨)}$
]

三、关键性质分类

1. 不可约性（Irreducibility）

任意两状态可互达： ( $\forall i,j, \exists k>0 \text{ s.t. } P_{ij}^{(k)} > 0$ )
意义：链是“整体连通”的，无孤立子系统

2. 周期性（Periodicity）

状态 ( i ) 的周期 ( $d(i) = \gcd\{k: P_{ii}^{(k)} > 0\}$ )
若 ( d(i)=1 ) 则非周期（如晴雨交替无固定循环）

3. 常返性（Recurrence）

常返状态：以概率1返回自身（如吸收态 ( $P_{ii}=1$ ))
非常返状态：有概率永不返回（如偏向无穷的随机游走）

4. 遍历性（Ergodicity）

定义：不可约 + 非周期 + 所有状态正常返
核心定理：遍历链存在唯一平稳分布 ( \pi )：
[
$\pi_j = \lim_{n \to \infty} P_{ij}^{(n)} \quad \forall i$
]
且满足 ( $\pi \mathbf{P} = \pi$ ) （左特征向量）

四、平稳分布：系统的终极平衡

1. 存在条件

有限状态马尔可夫链是遍历的 ⇔ 存在唯一平稳分布

2. 求解方法

解方程： ( $\pi \mathbf{P} = \pi$ ) 且 ( $\sum \pi_i = 1$ )
例：对天气矩阵 ( $\mathbf{P} = \begin{bmatrix} 0.8 & 0.2 \\ 0.3 & 0.7 \end{bmatrix}$ )
[
$\begin{cases} 0.8\pi_1 + 0.3\pi_2 = \pi_1 \\ 0.2\pi_1 + 0.7\pi_2 = \pi_2 \\ \pi_1 + \pi_2 = 1 \end{cases} \implies \pi = [0.6, 0.4]$
]
长期晴/雨概率比为 3:2

3. 细致平衡条件（更强约束）

若 ( $\pi_i P_{ij} = \pi_j P_{ji}$ ) 对任意 ( i,j ) 成立，则称链可逆（如MCMC中的Metropolis-Hastings算法）

五、应用场景：从自然到AI

1. 自然语言处理

n-gram语言模型：
( $P(\text{句子}) = P(w_1) \prod_{t=2}^T P(w_t \mid w_{t-1})$ ) （二元马尔可夫链）

2. 排队论

M/M/1队列：顾客到达间隔与服务时间均指数分布，系统状态为当前人数

3. 金融市场

股价模型：状态为涨/跌/平，转移矩阵由历史数据估计

4. 隐马尔可夫模型（HMM）

状态不可观测（如语音识别中音素→单词）
求解算法：前向-后向算法、Viterbi解码

5. PageRank算法

网页重要性排序：
状态=网页，转移=超链接跳转，平稳分布 ( \pi ) 即PageRank值
[
$\pi_i = (1-d) + d \sum_{j \to i} \frac{\pi_j}{L(j)} \quad (d: \text{阻尼因子})$
]

六、高级扩展

1. 连续时间马尔可夫链（CTMC）

状态转移在任意时刻发生
用生成矩阵 ( \mathbf{Q} ) 替代转移矩阵：
[
Q_{ij} = \lim_{\Delta t \to 0} \frac{P(X_{t+\Delta t}=j \mid X_t=i)}{\Delta t} \quad (i \neq j)
]
应用：化学反应动力学、电信网络拥塞控制

2. 马尔可夫决策过程（MDP）

引入动作（Action） 与奖励（Reward）
贝尔曼方程：
[
V(s) = \max_a \left[ R(s,a) + \gamma \sum_{s’} P(s’ \mid s,a) V(s’) \right]
]
应用：强化学习（如Q-learning）

3. 马尔可夫随机场（MRF）

状态空间为图结构（无向图）
吉布斯分布： ( P(\mathbf{x}) = \frac{1}{Z} \exp\left(-\sum_c E_c(\mathbf{x}_c)\right) )
应用：图像分割、Ising模型

七、Python仿真示例

案例1：天气预报模拟

import numpy as np# 转移矩阵: [晴, 雨]
P = np.array([[0.8, 0.2], [0.3, 0.7]])# 初始状态: 晴=0
state = 0
states = [state]# 模拟100天
for _ in range(100):state = np.random.choice([0, 1], p=P[state])states.append(state)# 统计平稳概率 (最后30天)
steady_state = np.bincount(states[-30:]) / 30
print(f"晴: {steady_state[0]:.2f}, 雨: {steady_state[1]:.2f}")  # ≈ [0.6, 0.4]

案例2：求解平稳分布

# 计算P的特征值为1的左特征向量
eigenvals, eigenvecs = np.linalg.eig(P.T)
pi = eigenvecs[:, np.isclose(eigenvals, 1)].real
pi = pi / pi.sum()  # 归一化
print(pi.flatten())  # [0.6, 0.4]