强化学习算法种类丰富，可按学习目标（基于价值 / 基于策略 / 演员 - 评论家）、数据使用方式（在线 / 离线）、是否依赖环境模型（无模型 / 有模型）等维度分类。以下按核心逻辑梳理常见算法，并补充各算法的权重更新公式：

一、基于价值的算法（Value-Based）

目标是学习 “状态 - 动作价值函数”（Q 函数），通过 Q 值指导动作选择（如选 Q 值最大的动作）。

1. Q-Learning（表格型，1989）：

   经典无模型离线（Off-policy）算法，用贝尔曼方程更新 Q 表格：$Q(s,a)\leftarrow Q(s,a)+\alpha [r+\gamma {\max }_{a^{\prime }}Q(s^{\prime },a^{\prime })-Q(s,a)]$

   其中，$\alpha$为学习率，$\gamma$为折扣因子，$r$为即时奖励，$s^{\prime }$为下一状态。

   适合状态 / 动作空间小的场景（如网格世界）。

2. SARSA（表格型，1994）：

   在线（On-policy）算法，更新 Q 值时依赖实际选择的下一个动作（而非最大 Q 值）：$Q(s,a)\leftarrow Q(s,a)+\alpha [r+\gamma Q(s^{\prime },a^{\prime })-Q(s,a)]$

   其中，$a^{\prime }$为实际执行的下一动作，更注重 “当前策略的一致性”，适合需要探索安全性的场景。

3. DQN（Deep Q-Network，2013）：

   深度强化学习里程碑，用神经网络近似 Q 函数（深度 Q 网络），解决高维状态空间问题（如 Atari 游戏）。

   核心改进：经验回放（Experience Replay，打破样本相关性）、目标网络（Target Network，稳定训练）。

   损失函数（更新 Q 网络权重$\theta$）：$L(\theta )=\mathbb{E}[(r+\gamma {\max }_{a^{\prime }}{Q}_{{\theta }^{-}}(s^{\prime },a^{\prime })-Q_{\theta }(s,a){)}^2]$

   权重更新：$\theta \leftarrow \theta -\beta {\nabla }_{\theta }L(\theta )$（$\beta$为 Q 网络学习率，${\theta }^{-}$为目标网络权重，定期从$\theta$复制）。

4. Double DQN（DDQN，2015）：

   解决 DQN 的 “过度估计 Q 值” 问题：用当前网络选动作，目标网络算 Q 值，避免单一网络既选又评的偏差。

   损失函数：$L(\theta )=\mathbb{E}[(r+\gamma Q_{{\theta }^{-}}(s^{\prime },\arg {\max }_{a^{\prime }}{Q}_{\theta }(s^{\prime },a^{\prime }))-Q_{\theta }(s,a){)}^2]$

   权重更新同 DQN。

5. Dueling DQN（2015）：

   将 Q 网络拆分为 “状态价值 V (s)” 和 “优势函数 A (s,a)”，输出 $Q(s,a)=V(s)+A(s,a)-\frac{1}{|A|}{\sum }_{a}A(s,a)$（减去均值避免歧义）。

   损失函数同 DQN（用拆分后的 Q 值计算），权重更新：$\theta \leftarrow \theta -\beta {\nabla }_{\theta }L(\theta )$。

6. Prioritized Experience Replay（PER，2016）：

   改进 DQN 的经验回放，给 “误差大的样本” 更高采样优先级（如 TD 误差$\delta =r+\gamma \max Q(s^{\prime },a^{\prime })-Q(s,a)$）。

   损失函数：$L(\theta )={\sum }_i{w}_i(r_i+\gamma {\max }_{a^{\prime }}{Q}_{{\theta }^{-}}(s_i^{\prime },a^{\prime })-Q_{\theta }(s_i,a_i){)}^2$

   其中，$w_i=(\frac{1}{N}\cdot \frac{1}{P(i)}{)}^{\eta }$为优先级权重（$P(i)$为样本$i$的优先级，$\eta$为调整因子），权重更新同 DQN。

7. Rainbow（2017）：

   集成 DQN 的 6 种改进（Double DQN、Dueling DQN、PER、多步回报、C51、噪声网络），损失函数为集成后的综合损失，权重更新结合各组件优化逻辑。

8. 分布型价值算法：

• C51（Categorical DQN，2017）：学习 Q 值的概率分布$p(z|s,a)$（$z$为离散回报值），目标分布为$p^{\prime }(z)={\sum }_{r+\gamma z^{\prime }=z}p(r,s^{\prime }|s,a)p_{\theta }(z^{\prime }|s^{\prime },a^{\prime })$。

  损失函数（交叉熵）：$L(\theta )=-\mathbb{E}[{\sum }_z{p}^{\prime }(z)\log p_{\theta }(z|s,a)]$，权重更新：$\theta \leftarrow \theta -\beta {\nabla }_{\theta }L(\theta )$。

• QR-DQN（Quantile Regression DQN，2017）：用分位数回归估计 Q 值分布，损失函数为分位数 Huber 损失，权重更新同 C51。

二、基于策略的算法（Policy-Based）

直接学习策略函数 $\pi (a|s;\theta )$（动作的概率分布），通过优化策略梯度最大化累积回报，适合连续动作空间。

1. REINFORCE（1992）：

   蒙特卡洛策略梯度算法，用完整轨迹的回报作为梯度更新权重，公式：${\nabla }_{\theta }J(\theta )\approx {\sum }_{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot G_t$

   其中，$G_t={\sum }_{k=t}^T{\gamma }^{k-t}{r}_k$为从时刻$t$开始的累积回报。

   权重更新：$\theta \leftarrow \theta +\alpha {\nabla }_{\theta }J(\theta )$（$\alpha$为策略学习率）。

   缺点：方差大（依赖完整轨迹）。

2. Vanilla Policy Gradient（VPG，基础策略梯度）：

   REINFORCE 的简化版，用累积回报直接更新策略，是多数策略算法的基础。

   梯度公式同 REINFORCE，权重更新：$\theta \leftarrow \theta +\alpha {\nabla }_{\theta }J(\theta )$。

3. TRPO（Trust Region Policy Optimization，2015）：

   解决策略梯度 “更新步长难控制” 的问题，通过 “信任域” 限制策略更新幅度，保证性能单调提升。

   优化目标：${\max }_{\theta }\mathbb{E}[\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_{old}}(a|s)}{A}_{{\theta }_{old}}(s,a)]$，约束$\mathbb{E}[\text{KL}({\pi }_{{\theta }_{old}}(\cdot |s),{\pi }_{\theta }(\cdot |s))]\le \delta$（$\delta$为信任域半径）。

   权重更新：通过共轭梯度法求解带约束优化问题，更新$\theta$。

4. PPO（Proximal Policy Optimization，2017）：

   TRPO 的简化高效版，用 “剪辑目标函数”（Clip Objective）限制新旧策略差异，训练稳定、实现简单。

   目标函数：$L_{CLIP}(\theta )=\mathbb{E}[\min (r_t(\theta )A_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ)A_t)]$

   其中，$r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{old}}(a_t|s_t)}$为策略比率，$ϵ$为剪辑系数（通常取 0.2），$A_t$为优势函数。

   权重更新：$\theta \leftarrow \theta +\alpha {\nabla }_{\theta }{L}_{CLIP}(\theta )$（多轮小批量更新）。

5. DPG（Deterministic Policy Gradient，2014）：

   针对连续动作空间，学习确定性策略 $a=\mu (s;\theta )$（而非概率分布），梯度计算更高效。

   策略梯度：${\nabla }_{\theta }J(\theta )=\mathbb{E}[{\nabla }_{\theta }\mu (s;\theta ){\nabla }_{a}Q(s,a;\varphi ){|}_{a=\mu (s;\theta )}]$（$\varphi$为 Q 函数权重）。

   权重更新：$\theta \leftarrow \theta +\alpha {\nabla }_{\theta }J(\theta )$。

三、演员 - 评论家算法（Actor-Critic，AC）

结合 “策略（Actor）” 和 “价值函数（Critic）”：Actor 负责输出动作，Critic 评估动作好坏（用 TD 误差替代蒙特卡洛回报），降低方差，提升效率。

1. 基础 AC：

• Critic（V 函数，权重$\varphi$）更新：$L(\varphi )=\mathbb{E}[(G_t-V_{\varphi }(s_t){)}^2]$，$\varphi \leftarrow \varphi -\beta {\nabla }_{\varphi }L(\varphi )$。

• Actor（策略$\pi$，权重$\theta$）更新：${\nabla }_{\theta }J(\theta )=\mathbb{E}[{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)(G_t-V_{\varphi }(s_t))]$，$\theta \leftarrow \theta +\alpha {\nabla }_{\theta }J(\theta )$。

1. A2C（Advantage Actor-Critic，2016）：

   用 “优势函数 $A(s,a)=Q(s,a)-V(s)$” 替代 Critic 的原始回报，进一步降低方差。

• Critic（V 函数）更新：同基础 AC，$\varphi \leftarrow \varphi -\beta {\nabla }_{\varphi }\mathbb{E}[(r+\gamma V_{\varphi }(s^{\prime })-V_{\varphi }(s){)}^2]$。

• Actor 更新：${\nabla }_{\theta }J(\theta )=\mathbb{E}[{\nabla }_{\theta }\log {\pi }_{\theta }(a|s)A(s,a)]$，$\theta \leftarrow \theta +\alpha {\nabla }_{\theta }J(\theta )$。

1. A3C（Asynchronous Advantage Actor-Critic，2016）：

   A2C 的异步版本，多个线程并行探索，本地更新后同步到全局参数，更新公式同 A2C（异步执行）。

2. DDPG（Deep Deterministic Policy Gradient，2015）：

   结合 DQN 和 DPG，用于连续动作空间：

• Critic（Q 网络，权重$\varphi$）更新：$L(\varphi )=\mathbb{E}[(r+\gamma Q_{{\varphi }^{-}}(s^{\prime },{\mu }_{{\theta }^{-}}(s^{\prime }))-Q_{\varphi }(s,a){)}^2]$，$\varphi \leftarrow \varphi -\beta {\nabla }_{\varphi }L(\varphi )$（${\varphi }^{-}$、${\theta }^{-}$为目标网络权重）。

• Actor（策略$\mu$，权重$\theta$）更新：${\nabla }_{\theta }J(\theta )=\mathbb{E}[{\nabla }_a{Q}_{\varphi }(s,a){|}_{a={\mu }_{\theta }(s)}{\nabla }_{\theta }{\mu }_{\theta }(s)]$，$\theta \leftarrow \theta +\alpha {\nabla }_{\theta }J(\theta )$。

1. TD3（Twin Delayed DDPG，2018）：

   改进 DDPG 的 “过度估计” 问题，双 Critic 网络取最小值：

• Critic 更新：$L({\varphi }_i)=\mathbb{E}[(r+\gamma {\min }_{j=1,2}{Q}_{{\varphi }_j^{-}}(s^{\prime },{\mu }_{{\theta }^{-}}(s^{\prime }))-Q_{{\varphi }_i}(s,a){)}^2]$，${\varphi }_i\leftarrow {\varphi }_i-\beta {\nabla }_{{\varphi }_i}L({\varphi }_i)$（$i=1,2$）。

• Actor 延迟更新（每 2 次 Critic 更新后）：同 DDPG 的 Actor 更新。

1. SAC（Soft Actor-Critic，2018）：

   最大熵强化学习代表，目标是 “最大化累积回报 + 策略熵”：

• Critic（双 Q 网络）更新：$L({\varphi }_i)=\mathbb{E}[(r+\gamma ({\min }_{j=1,2}{Q}_{{\varphi }_j^{-}}(s^{\prime },a^{\prime })-\alpha \log {\pi }_{{\theta }^{-}}(a^{\prime }|s^{\prime }))-Q_{{\varphi }_i}(s,a){)}^2]$，${\varphi }_i\leftarrow {\varphi }_i-\beta {\nabla }_{{\varphi }_i}L({\varphi }_i)$。

• Actor 更新：${\nabla }_{\theta }J(\theta )=\mathbb{E}[\alpha \log {\pi }_{\theta }(a|s)-Q_{{\varphi }_1}(s,a)]$（$\alpha$为温度参数），$\theta \leftarrow \theta +\alpha {\nabla }_{\theta }J(\theta )$。

四、基于模型的强化学习（Model-Based）

先学习环境模型（状态转移概率 $p(s^{\prime }|s,a)$ 和奖励函数 $r(s,a)$），再用模型指导策略学习，数据效率更高。

1. Dyna-Q（1991）：

• 模型参数更新：用真实数据学习$\hat{p}(s^{\prime }|s,a)$和$\hat{r}(s,a)$（如最小二乘拟合）。

• Q 值更新：结合真实经验（同 Q-Learning）和模型生成的虚拟经验（$s^{\prime }\sim \hat{p}(\cdot |s,a)$，$r=\hat{r}(s,a)$）。

1. MBPO（Model-Based Policy Optimization，2019）：

• 模型更新：用神经网络拟合$p(s^{\prime }|s,a)$，损失为预测误差$L=\mathbb{E}[\Vert s^{\prime }-\hat{p}(s^{\prime }|s,a){\Vert }^2]$。

• 策略更新：用模型生成虚拟轨迹，通过 PPO 优化策略（同 PPO 公式）。

五、离线强化学习（Offine RL）

仅利用固定数据集训练策略，解决实际场景中 “交互成本高 / 危险” 的问题。

1. BCQ（Batch-Constrained Q-Learning，2018）：

• Q 网络更新：$L(\varphi )={\mathbb{E}}_{(s,a,r,s^{\prime })\sim D}[(r+\gamma {\max }_{a^{\prime }\in {\mathcal{A}}_{ϵ}(s^{\prime })}{Q}_{{\varphi }^{-}}(s^{\prime },a^{\prime })-Q_{\varphi }(s,a){)}^2]$（${\mathcal{A}}_{ϵ}(s^{\prime })$为数据集动作附近的安全动作集）。

• 权重更新：$\varphi \leftarrow \varphi -\beta {\nabla }_{\varphi }L(\varphi )$。

1. CQL（Conservative Q-Learning，2020）：

• Q 网络更新：$L(\varphi )=\text{DQNæY¨a˚¤±}+\lambda \mathbb{E}[\log {\sum }_a\exp (Q_{\varphi }(s,a))-Q_{\varphi }(s,a)]$（第二项为保守项，压低未见过的动作 Q 值），$\varphi \leftarrow \varphi -\beta {\nabla }_{\varphi }L(\varphi )$。

六、多智能体强化学习（MARL）

多个智能体在同一环境中交互，需考虑智能体间的协作 / 竞争关系。

1. MADDPG（Multi-Agent DDPG，2017）：

• 智能体$i$的 Actor 更新：同 DDPG，梯度依赖全局 Critic 对联合动作的评估。

• 全局 Critic 更新：$L(\varphi )=\mathbb{E}[(r+\gamma Q_{{\varphi }^{-}}(s^{\prime },a_1^{\prime },...,a_N^{\prime })-Q_{\varphi }(s,a_1,...,a_N){)}^2]$，$\varphi \leftarrow \varphi -\beta {\nabla }_{\varphi }L(\varphi )$。

1. QMIX（2018）：

   全局 Q 值$Q_{total}(s,a_1,...,a_N)=\text{MIX}(q_1(s,a_1),...,q_N(s,a_N);\omega )$（$\text{MIX}$为混合网络，$\omega$为权重）。

• 混合网络更新：$L(\omega )=\mathbb{E}[(r+\gamma {\max }_{a^{\prime }}{Q}_{total}(s^{\prime },a^{\prime })-Q_{total}(s,a){)}^2]$，$\omega \leftarrow \omega -\beta {\nabla }_{\omega }L(\omega )$。

其他重要算法

• N-step TD：用 N 步回报更新，如 V 函数更新：$V(s_t)\leftarrow V(s_t)+\alpha [G_{t:t+n}-V(s_t)]$，其中$G_{t:t+n}={\sum }_{k=t}^{t+n-1}{\gamma }^{k-t}{r}_k+{\gamma }^{n}V(s_{t+n})$。

• H-DQN（分层）：高层策略选子目标，低层策略更新同 DQN，高层策略梯度依赖低层目标达成的回报。

这些算法的权重更新公式体现了各自的优化逻辑，从简单的表格更新到深度网络的梯度下降，从单步更新到多步规划，共同推动强化学习在复杂场景中的应用。

（注：文档部分内容可能由 AI 生成）