系列文章目录

Fundamental Tools

RL【1】：Basic Concepts
RL【2】：Bellman Equation
RL【3】：Bellman Optimality Equation

Algorithm

RL【4】：Value Iteration and Policy Iteration
RL【5】：Monte Carlo Learning
RL【6】：Stochastic Approximation and Stochastic Gradient Descent

Method

RL【7-1】：Temporal-difference Learning
RL【7-2】：Temporal-difference Learning
RL【8】：Value Function Approximation
RL【9】：Policy Gradient
RL【10-1】：Actor - Critic
RL【10-2】：Actor - Critic

---

---

前言

本系列文章主要用于记录 B站 赵世钰老师的【强化学习的数学原理】的学习笔记，关于赵老师课程的具体内容，可以移步：
B站视频：【【强化学习的数学原理】课程：从零开始到透彻理解（完结）】
GitHub 课程资料：Book-Mathematical-Foundation-of-Reinforcement-Learning

---

Off-policy actor-critic

Importance sampling

Definition

Note that

$\mathbb{E}X\sim p_0[X]={\sum }_x{p}_0(x)x={\sum }_x{p}_1(x)\frac{p_0(x)}{p_1(x)}x=\mathbb{E}X\sim p_1[f(X)]$

• Thus, we can estimate $\mathbb{E}X\sim p_1[f(X)]$ in order to estimate $\mathbb{E}X\sim p_0[X]$.
• How to estimate ${\mathbb{E}}_{X\sim p_1}[f(X)]$? Easy.

  • Let

    $\bar{f}\doteq \frac{1}{n}{\sum }_{i=1}^{n}f(x_i),\text{where }{x}_i\sim p_1$

  • Then,

    $\mathbb{E}X\sim p_1[\bar{f}]=\mathbb{E}X\sim p_1[f(X)]$

    $\text{var}X\sim p_1[\bar{f}]=\frac{1}{n}\text{var}X\sim p_1[f(X)]$

定理推导

1. 基本思想

   • 我们通常想要估计一个期望：

     ${\mathbb{E}}_{X\sim p_0}[X]$

   • 但有时候 直接从 $p_0$ 采样很难，或者采样代价高。于是我们考虑换一个更容易采样的分布 $p_1$，但同时通过一个修正因子（importance weight）来保持无偏估计。

2. 推导过程

   • 从定义出发：

     ${\mathbb{E}}_{X\sim p_0}[X]={\sum }_x{p}_0(x)x$

   • 插入一个“1”：

     $={\sum }_x{p}_1(x)\frac{p_0(x)}{p_1(x)}x={\mathbb{E}}_{X\sim p_1}[f(X)]$

     • 其中：

       $f(x)=\frac{p_0(x)}{p_1(x)}x$

   • 这样就把原本关于 $p_0$ 的期望，转化成了关于 $p_1$ 的期望。

3. Monte Carlo 近似
   • 由于无法解析计算 ${\mathbb{E}}_{X\sim p_1}[f(X)]$，我们用采样近似：

     • 采样 $n$ 个样本 $x_i\sim p_1$，定义

       $\bar{f}=\frac{1}{n}{\sum }_{i=1}^{n}f(x_i)=\frac{1}{n}{\sum }_{i=1}^n\frac{p_0(x_i)}{p_1(x_i)}{x}_i$

     • 性质：

       • 无偏：$\mathbb{E}X\sim p_1[\bar{f}]=\mathbb{E}X\sim p_0[X]$
       • 方差：$\text{Var}[\bar{f}]=\frac{1}{n}\text{Var}[f(X)]$
   • 所以样本数越多，估计越稳定。

Importance Weight

Therefore, $\bar{f}$ is a good approximation for $\mathbb{E}X\sim p_1[f(X)]=\mathbb{E}X\sim p_0[X]$.

$\mathbb{E}X\sim p_0[X]\approx \bar{f}=\frac{1}{n}\sum {i=1}^{n}f(x_i)=\frac{1}{n}{\sum }_{i=1}^n\frac{p_0(x_i)}{p_1(x_i)}{x}_i$

• $\frac{p_0(x_i)}{p_1(x_i)}$ is called the importance weight.
  • If $p_1(x_i)=p_0(x_i)$, the importance weight is one and $\bar{f}$ becomes $\bar{x}$.
  • If $p_0(x_i)\ge p_1(x_i)$, $x_i$ can be more often sampled by $p_0$ than $p_1$.
    The importance weight ($>1$) can emphasize the importance of this sample.

Importance Weight 的意义

• 修正因子：

  $w(x)=\frac{p_0(x)}{p_1(x)}$

• 解释：

  • 如果 $p_1(x)=p_0(x)$，那么 $w(x)=1$，这就退化成普通 Monte Carlo。
  • 如果某个 $x$ 在 $p_0$ 下比在 $p_1$ 下更常见（即 $p_0(x)\ge p_1(x)$），那么 $w(x)>1$，采到这个样本时会“放大”它的重要性。
  • 相反，如果 $p_0(x)\ll p_1(x)$，那么 $w(x)<1$，采到的样本会被削弱影响。

• 直观上：importance weight 让“偏样”的分布 $p_1$ 采到的数据，能被重新加权，修正成目标分布 $p_0$ 下的真实期望。

Q & A

• Question
  • While $\bar{f}=\frac{1}{n}{\sum }_{i=1}^n\frac{p_0(x_i)}{p_1(x_i)}{x}_i$ requires $p_0(x)$, if I know $p_0(x)$, why not directly calculate the expectation?
• Answer
  • It is applicable to the case where it is easy to calculate $p_0(x)$ given an $x$, but difficult to calculate the expectation.
    • For example, continuous case, complex expression of $p_0$, or no expression of $p_0$ (e.g., $p_0$ represented by a neural network).

为什么不直接算期望？

• 既然要用到 $p_0(x)$，为什么不直接计算 ${\mathbb{E}}_{X\sim p_0}[X]$？
• 原因：
  • 我们可能能写出 $p_0(x)$，但它的积分或期望形式复杂，没法直接算。
    • 比如在连续空间，高维积分几乎不可解。
    • $p_0(x)$ 可能由神经网络表示（无解析形式）。
  • 而从 $p_1$ 采样比较容易，比如选择一个更简单的分布。

Equation Summary

if {xi}∼p1\{x_i\} \sim p_1{xi​}∼p1​,

$\bar{x}=\frac{1}{n}{\sum }_{i=1}^n{x}_i\to {\mathbb{E}}_{X\sim p_1}[X]$

$\bar{f}=\frac{1}{n}{\sum }_{i=1}^n\frac{p_0(x_i)}{p_1(x_i)}{x}_i\to {\mathbb{E}}_{X\sim p_0}[X]$

在 RL 中的应用

• 在强化学习里：

  • 行为策略：采样数据的分布 $p_1={\pi }_b$（behavior policy）
  • 目标策略：我们想优化的分布 $p_0=\pi$（target policy）

• 如果直接用行为策略的数据来学习，会有分布不匹配的问题。Importance sampling 就通过

  $w_t=\frac{\pi (a_t|s_t)}{{\pi }_b(a_t|s_t)}$

  • 来修正，使得学习仍然是关于目标策略的无偏估计。

The theorem of off-policy policy gradient

Like the previous on-policy case, we need to derive the policy gradient in the off-policy case.

• Suppose $\beta$ is the behavior policy that generates experience samples.

• Our aim is to use these samples to update a target policy $\pi$ that can minimize the metric

  $J(\theta )={\sum }_{s\in \mathcal{S}}{d}_{\beta }(s)v_{\pi }(s)=\mathbb{E}S\sim d\beta [v_{\pi }(S)]$

  • where $d_{\beta }$ is the stationary distribution under policy $\beta$.

Theorem (Off-policy policy gradient theorem)

• In the discounted case where $\gamma \in (0,1)$, the gradient of $J(\theta )$ is

  ${\nabla }_{\theta }J(\theta )=\mathbb{E}S\sim \rho ,A\sim \beta \left[\frac{\pi (A|S,\theta )}{\beta (A|S)}\nabla \theta \ln \pi (A|S,\theta )q_{\pi }(S,A)\right]$

  • where $\beta$ is the behavior policy and $\rho$ is a state distribution.

Off-policy Policy Gradient Theorem 的直观含义和推导思路。

1. 背景：为什么要 Off-policy？

• 在前面 on-policy 的情形中，
  • 我们用目标策略 $\pi$ 自己生成的轨迹来更新 $\pi$。
  • 但是在实际应用中，常常会遇到以下问题：
    • 目标策略 $\pi$ 还没收敛，样本质量不足；
    • 我们已经有了由其他策略（例如旧的策略、随机策略、经验库）生成的大量数据；
    • 希望 复用已有样本 来提高数据利用率。
• 这时候，就需要 off-policy learning：
  • 利用行为策略 $\beta$ 生成的样本，去更新目标策略 $\pi$。

1. 性能目标函数

   • 定义目标函数：

     $J(\theta )={\sum }_{s\in \mathcal{S}}{d}_{\beta }(s)v_{\pi }(s)$

     $=\mathbb{E}S\sim d\beta [v_{\pi }(S)]$

     • $d_{\beta }(s)$：在行为策略 $\beta$ 下，状态 $s$ 的 平稳分布；
     • $v_{\pi }(s)$：在目标策略 $\pi$ 下，从状态 $s$ 出发的期望回报。

   • 也就是说，我们要最大化的是：在 $\beta$ 产生的状态分布下，$\pi$ 的价值函数。

2. Off-policy Policy Gradient Theorem

   • 定理给出的梯度形式是：

     ${\nabla }_{\theta }J(\theta )=\mathbb{E}S\sim \rho ,A\sim \beta \left[\frac{\pi (A|S,\theta )}{\beta (A|S)}\nabla \theta \ln \pi (A|S,\theta )q_{\pi }(S,A)\right]$

   • 其中：

     • $\rho$：状态分布；
     • $\beta$：行为策略；
     • $\pi$：目标策略；
     • $\frac{\pi (A|S,\theta )}{\beta (A|S)}$：重要性采样权重。
3. 为什么要重要性采样比率？

   • 在 on-policy 的情形下，$A$ 是由 $\pi$ 采样的，所以没有问题。

   • 但是在 off-policy 中，$A$ 是由 $\beta$ 采样的，这和 $\pi$ 不一致。

   • 为了修正这种分布不匹配，就要引入修正因子：

     $\frac{\pi (A|S,\theta )}{\beta (A|S)}$

   • 这样，虽然我们是从 $\beta$ 的分布中采样，但通过加权，可以让期望和在 $\pi$ 下采样的结果保持一致。

4. 直观解释
   • 分布修正：通过 $\frac{\pi }{\beta }$，把 $\beta$ 下的采样分布“修正”为 $\pi$ 下的分布；
   • 无偏性：保证估计的期望仍然是 $\pi$ 下的真实梯度；
   • 可复用性：我们可以利用 $\beta$ 生成的旧经验来更新 $\pi$，而不是每次都要重新采样。
5. 实际问题
   • 虽然引入了 $\frac{\pi }{\beta }$ 修正项保证了无偏性，但也带来了方差过大的问题。
   • 因此，实际中很多 off-policy 算法（比如 DDPG、SAC）会：
     • 使用 截断的重要性权重（clipped importance sampling）；
     • 或者用 critic 近似 $q_{\pi }(s,a)$ 来减少方差。

The algorithm of off-policy actor-critic

Off-policy policy gradient

• The off-policy policy gradient is also invariant to a baseline $b(s)$.

• In particular, we have

  ${\nabla }_{\theta }J(\theta )=\mathbb{E}S\sim \rho ,A\sim \beta \left[\frac{\pi (A|S,\theta )}{\beta (A|S)}\nabla \theta \ln \pi (A|S,\theta )(q_{\pi }(S,A)-b(S))\right]$

• To reduce the estimation variance, we can select the baseline as $b(S)=v_{\pi }(S$) and obtain

  ${\nabla }_{\theta }J(\theta )=\mathbb{E}\left[\frac{\pi (A|S,\theta )}{\beta (A|S)}{\nabla }_{\theta }\ln \pi (A|S,\theta )(q_{\pi }(S,A)-v_{\pi }(S))\right]$

为什么需要 Off-policy？

在 on-policy 的情况下，Actor 和 Critic 的更新都依赖于 当前策略 $\pi$ 产生的数据。但在实际应用中，这样有两个问题：

1. 策略需要不断更新 → 采样效率低。
2. 旧的数据（由旧策略产生）无法直接利用。

因此我们希望能在 一个行为策略 $\beta$（behavior policy） 下收集经验，然后用这些经验去更新一个 目标策略 $\pi$（target policy）。这就需要 importance sampling 来进行修正。

Off-policy Policy Gradient with Baseline

在 off-policy 场景下，策略梯度公式变为：

${\nabla }_{\theta }J(\theta )=\mathbb{E}S\sim \rho ,A\sim \beta \left[\frac{\pi (A|S,\theta )}{\beta (A|S)}\nabla \theta \ln \pi (A|S,\theta )(q_{\pi }(S,A)-b(S))\right]$

关键点：

• $\frac{\pi (A|S,\theta )}{\beta (A|S)}$ 称为 importance weight，用于校正行为策略与目标策略的分布差异。

• baseline $b(S)$ 用于降低方差。最常见选择是 $b(S)=v_{\pi }(S)$，得到 advantage function：

  $q_{\pi }(S,A)-v_{\pi }(S)={\delta }_{\pi }(S,A)$

Stochastic gradient-ascent algorithm

• The corresponding stochastic gradient-ascent algorithm is

  ${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }\frac{\pi (a_t|s_t,{\theta }_t)}{\beta (a_t|s_t)}{\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)(q_t(s_t,a_t)-v_t(s_t))$

• Similar to the on-policy case,

  $q_t(s_t,a_t)-v_t(s_t)\approx r_{t+1}+\gamma v_t(s_{t+1})-v_t(s_t)\doteq {\delta }_t(s_t,a_t)$

• Then, the algorithm becomes

    $\theta_{t+1} = \theta_t + \alpha_\theta \frac{\pi(a_t|s_t,\theta_t)}{\beta(a_t|s_t)}
  

  \nabla_\theta \ln \pi(a_t|s_t,\theta_t) \delta_t(s_t,a_t)$

• and hence

  ${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }\left(\frac{{\delta }_t(s_t,a_t)}{\beta (a_t|s_t)}\right){\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)$

Off-policy actor-critic based on importance sampling

• Initialization:
  • A given behavior policy $\beta (a|s)$.
  • A target policy $\pi (a|s,{\theta }_0)$ where ${\theta }_0$ is the initial parameter vector.
  • A value function $v(s,w_0)$ where $w_0$ is the initial parameter vector.
• Aim: Search for an optimal policy by maximizing $J(\theta )$.
• At time step t in each episode, do

  • Generate $a_t$ following $\beta (s_t)$ and then observe $r_{t+1},s_{t+1}$.

  • TD error (advantage function):

    ${\delta }_t=r_{t+1}+\gamma v(s_{t+1},w_t)-v(s_t,w_t)$

  • Critic (value update):

    $w_{t+1}=w_t+{\alpha }_w\frac{\pi (a_t|s_t,{\theta }_t)}{\beta (a_t|s_t)}{\delta }_t{\nabla }_{w}v(s_t,w_t)$

  • Actor (policy update):

    ${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }\frac{\pi (a_t|s_t,{\theta }_t)}{\beta (a_t|s_t)}{\delta }_t{\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)$

Off-policy Actor-Critic 算法流程深度解析

1. 初始化

   • 行为策略 $\beta (a|s)$：

     • 这是用来 收集数据 的策略。它可以是一个旧版本的策略，也可以是专门设计来探索的策略。它的优点是能产生大量样本，甚至存放在 经验回放池 中供以后使用。
     • 用来收集经验，提高样本利用率。

   • 目标策略 $\pi (a|s,\theta )$：

     这是我们真正想要优化的策略（Actor）。参数是 $\theta$，它决定了我们的最终决策性能。

   • 价值函数 $v(s,w)$：

     • Critic 的任务是近似状态价值或动作价值，用参数 $w$ 表示。Critic 为 Actor 提供“动作好坏的评价信号”。
     • 真正优化的目标，保证学习方向正确。

2. 采样阶段

   • 在时间步 $t$，
     1. 用行为策略 $\beta (s_t)$ 选择动作 $a_t$。
     2. 环境返回奖励 $r_{t+1}$ 和下一个状态 $s_{t+1}$。
   • 注意：这里的动作不是从 $\pi$ 采样，而是从 $\beta$ 采样。
   • 这就是 off-policy 的关键：数据来自别的策略。

3. 计算 TD 误差（Advantage 近似）

   ${\delta }_t=r_{t+1}+\gamma v(s_{t+1},w_t)-v(s_t,w_t)$

   • 直观理解：
     • 如果奖励 + 下一状态的价值 大于 当前状态价值 → 说明动作比预期更好，${\delta }_t>0$。
     • 如果奖励 小于 预期 → 动作比想象中差，${\delta }_t<0$。

4. Critic 更新（值函数近似）

   $w_{t+1}=w_t+{\alpha }_w\frac{\pi (a_t|s_t,{\theta }_t)}{\beta (a_t|s_t)}{\delta }_t{\nabla }_{w}v(s_t,w_t)$

   • Critic 学习目标是 让价值函数更好地逼近 TD 目标。
   • 乘上 $\frac{\pi }{\beta }$ 是因为数据不是从目标策略 $\pi$ 采样的，而是从行为策略 $\beta$ 采样的，我们必须用 importance sampling 权重 进行修正，保证更新是 无偏的。
     • 没有这个修正，Critic 会学到偏差很大的价值估计，从而误导 Actor。

5. Actor 更新（策略改进）

   ${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }\frac{\pi (a_t|s_t,{\theta }_t)}{\beta (a_t|s_t)}{\delta }_t{\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)$

   • 直观理解：
     • 如果 ${\delta }_t>0$，说明这个动作比预期更好，Actor 就应该 增加该动作的概率；
     • 如果 ${\delta }_t<0$，说明动作不好，Actor 应该 降低该动作的概率。
   • 同样，$\frac{\pi }{\beta }$ 用来修正数据分布。
   • 最终，Actor 会逐渐朝着能带来更大长期回报的方向优化。

6. 核心理解

   1. $\beta$ 负责采样，$\pi$ 负责学习
      • 这使得我们可以反复使用旧数据（经验回放），大大提高采样效率。
   2. Importance Sampling 保证无偏
      • 修正因 $\beta \ne \pi$ 带来的分布差异，否则 Actor 和 Critic 的更新方向会有偏差。
   3. TD 误差作为 Advantage
      • Critic 提供的 ${\delta }_t$ 告诉 Actor：这个动作比平均水平好多少，从而指导策略改进。

---

Deterministic actor-critic (DPG)

Introduction

The ways to represent a policy:

• Up to now, a general policy is denoted as

    $\pi(a|s,\theta) \in [0,1],$
  

  • which can be either stochastic or deterministic.

• Now, the deterministic policy is specifically denoted as

  $a=\mu (s,\theta )\doteq \mu (s)$

  • $\mu$ is a mapping from $\mathcal{S}$ to $\mathcal{A}$.
  • $\mu$ can be represented by, for example, a neural network with the input as $s$, the output as $a$, and the parameter as $\theta$.
  • We may write $\mu (s,\theta )$ in short as $\mu (s)$.

确定性策略的表示

• 一般策略：$\pi (a|s,\theta )$，可以是分布也可以是函数。

• 确定性策略：

  $a=\mu (s,\theta )$

  它是一个 映射 $S\to A$。

• 实现方式：用一个神经网络，输入状态 $s$，输出一个唯一动作 $a$。

这意味着 不再采样，而是直接计算。

The theorem of deterministic policy gradient

Introduction

• The policy gradient theorems introduced before are merely valid for stochastic policies.
• If the policy must be deterministic, we must derive a new policy gradient theorem.
• The ideas and procedures are similar.

为什么要从随机策略转向确定性策略？

• 在之前的 stochastic policy gradient (SPG) 中，我们有：

  $\pi (a|s,\theta )>0,\forall (s,a)$

  • 意味着无论什么状态，每个动作都有概率被选到。

• 好处：理论上保证覆盖整个动作空间。

• 问题：

  • 连续动作空间时，分布很难采样完整，学习效率低；
  • 梯度估计有 高方差，更新不稳定。

• 于是我们考虑：

  • 能不能直接学一个函数 $a=\mu (s,\theta )$，让策略 deterministically 输出动作？

Definition

• Consider the metric of average state value in the discounted case:

  $J(\theta )=\mathbb{E}[v_{\mu }(s)]={\sum }_{s\in \mathcal{S}}{d}_0(s)v_{\mu }(s)$

  • where $d_0(s)$ is a probability distribution satisfying ${\sum }_{s\in \mathcal{S}}{d}_0(s)=1$.
  • $d_0$ is selected to be independent of $\mu$. The gradient in this case is easier to calculate.

• There are two special yet important cases of selecting $d_0$.

  • The first special case is that $d_0(s_0)=1$ and $d_0(s\ne s_0)=0$, where $s_0$ is a specific starting state of interest.
  • The second special case is that $d_0$ is the stationary distribution of a behavior policy that is different from the $\mu$.

DPG 的目标函数

• 我们依旧定义目标函数（期望回报）：

  $J(\theta )=\mathbb{E}[v_{\mu }(s)]={\sum }_{s\in \mathcal{S}}{d}_0(s)v_{\mu }(s)$

  • 其中：
    • $v_{\mu }(s)$：在策略 $\mu$ 下，状态 $s$ 的价值。
    • $d_0(s)$：状态分布，可以有不同的选择：
      • 如果 $d_0(s_0)=1$，表示从某个起点状态开始。
      • 如果 $d_0$ 是行为策略的平稳分布，说明我们是 off-policy 学习。

Theorem (Deterministic policy gradient theorem in the discounted case)

• In the discounted case where $\gamma \in (0,1)$, the gradient of $J(\theta )$ is

  ${\nabla }_{\theta }J(\theta )={\sum }_{s\in \mathcal{S}}{\rho }_{\mu }(s){\nabla }_{\theta }\mu (s)({\nabla }_a{q}_{\mu }(s,a)){|}_{a=\mu (s)}$

  $={\mathbb{E}}_{S\sim \rho \mu }[{\nabla }_{\theta }\mu (S)({\nabla }_a{q}_{\mu }(S,a)\left){|}_{a=\mu (S)}\right]$

• Here, ${\rho }_{\mu }$ is a state distribution.

• One important difference from the stochastic case:

  • The gradient does not involve the distribution of the action $A$ (why?).
  • As a result, the deterministic policy gradient method is off-policy.

确定性策略梯度定理

• 定理表明：

  ${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{S\sim \rho \mu }[{\nabla }_{\theta }\mu (S){\nabla }_a{q}_{\mu }(S,a){|}_{a=\mu (S)}]$

  • 关键点：
    1. 梯度更新依赖于：
       • 策略梯度 ${\nabla }_{\theta }\mu (S)$：动作 $a$ 对参数 $\theta$ 的敏感性（“动作会随参数怎么变”）。
       • 动作价值梯度 ${\nabla }_a{q}_{\mu }(S,a)$：动作 $a$ 对未来价值的敏感性（“这个动作对价值函数的边际贡献”）。
       • 组合：我们要让动作朝着“价值上升最快”的方向调整。
    2. 区别于随机策略的情况：这里没有 $\pi (a|s)$ 的分布项！
       • 在 stochastic PG 中，更新公式中会有 ${\nabla }_{\theta }\ln \pi (a|s,\theta )$，因为需要考虑采样概率。
       • 在 DPG 中，动作是唯一确定的，不需要概率分布，所以消掉了这一项。

为什么和随机策略不同？

• 在 stochastic policy gradient (REINFORCE) 里：

  ${\nabla }_{\theta }J(\theta )=\mathbb{E}[{\nabla }_{\theta }\ln \pi (a|s,\theta )q_{\pi }(s,a)]$

  • 解释：
    • 因为动作是“从分布中采样”，所以必须用 $\ln \pi (a|s,\theta )$ 的导数来捕捉“采样概率随参数变化的敏感性”。

• 而在 deterministic case：

  • 动作是确定的，不需要概率分布。
  • 于是 $\ln \pi$ 项消失，直接用 ${\nabla }_{\theta }\mu (s)$。

为什么 DPG 是 Off-policy？

• 在随机策略下，我们必须从当前策略 $\pi$ 中采样动作（on-policy）。

• 但在 DPG 中，公式只依赖于 $\mu (s)$ 和 $q_{\mu }(s,a)$，与采样分布 $\beta$ 无关。

  → 我们可以用任意行为策略（例如 $ϵ$-greedy 探索策略）来收集数据，再用这些数据更新 $\mu$。

The algorithm of deterministic actor-critic

Gradient-ascent algorithm for deterministic policy gradient

• Based on the policy gradient, the gradient-ascent algorithm for maximizing $J(\theta )$ is:

  ${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }\mathbb{E}S\sim \rho \mu \left[{\nabla }_{\theta }\mu (S)({\nabla }_a{q}_{\mu }(S,a)){|}_{a=\mu (S)}\right]$

• The corresponding stochastic gradient-ascent algorithm is

  ${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\nabla }_{\theta }\mu (s_t)({\nabla }_a{q}_{\mu }(s_t,a)){|}_{a=\mu (s_t)}$

Gradient-ascent algorithm

• Deterministic policy gradient

  ${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }\mathbb{E}S\sim \rho \mu \left[{\nabla }_{\theta }\mu (S)({\nabla }_a{q}_{\mu }(S,a)){|}_{a=\mu (S)}\right]$

  • 含义：
    • 在确定性策略下，动作 $a$ 不再是一个概率分布采样结果，而是直接由函数 $\mu (s,\theta )$ 给出。
    • 策略参数 $\theta$ 的更新方向由 链式法则 得到：
      1. ${\nabla }_{\theta }\mu (S)$：状态对策略参数的敏感性（即参数变化对输出动作的影响）；
      2. ${\nabla }_a{q}_{\mu }(S,a)$：动作对价值函数的敏感性（即动作改变对未来回报的影响）。
    • 两者结合，意味着参数更新方向是动作变化对回报的敏感性 × 参数变化对动作的敏感性。

• Stochastic gradient-ascent algorithm

  ${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\nabla }_{\theta }\mu (s_t)({\nabla }_a{q}_{\mu }(s_t,a)){|}_{a=\mu (s_t)}$

  • 这里用单个采样状态 $s_t$ 近似期望。
  • 相当于 mini-batch SGD 的思想，用样本来代替整体分布的期望。

Deterministic actor-critic algorithm

• Initialization: A given behavior policy $\beta (a|s)$. A deterministic target policy $\mu (s,{\theta }_0)$ where ${\theta }_0$ is the initial parameter vector. A value function $v(s,w_0)$ where $w_0$ is the initial parameter vector.
• Aim: Search for an optimal policy by maximizing $J(\theta )$.
• At time step t in each episode, do

  • Generate $a_t$ following $\beta$ and then observe $r_{t+1},s_{t+1}$.

  • TD error:

    ${\delta }_t=r_{t+1}+\gamma q(s_{t+1},\mu (s_{t+1},{\theta }_t),w_t)-q(s_t,a_t,w_t)$

  • Critic (value update):

    $w_{t+1}=w_t+{\alpha }_w{\delta }_t{\nabla }_{w}q(s_t,a_t,w_t)$

  • Actor (policy update):

    ${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\nabla }_{\theta }\mu (s_t,{\theta }_t)({\nabla }_{a}q(s_t,a,w_{t+1})){|}_{a=\mu (s_t)}$

Deterministic Actor-Critic Algorithm (DAC)

• 算法流程：

  1. 初始化：

     • 行为策略 $\beta (a|s)$：用于采样数据（可以是 $\mu +\text{noise}$）。
     • 目标策略 $\mu (s,\theta )$：确定性输出动作。
     • 价值函数 $q(s,a,w)$：用参数 $w$ 近似。

  2. 执行过程：

     • 在状态 $s_t$ 下，根据行为策略 $\beta$ 生成动作 $a_t$。
     • 执行 $a_t$，观察奖励 $r_{t+1}$ 和下一个状态 $s_{t+1}$。

  3. TD 误差：

     ${\delta }_t=r_{t+1}+\gamma q(s_{t+1},\mu (s_{t+1},{\theta }_t),w_t)-q(s_t,a_t,w_t)$

     • 衡量当前 $q$ 估计与真实回报之间的差距。
     • 如果 ${\delta }_t>0$，说明实际回报比估计高，动作和策略需要被强化。

  4. Critic 更新：

     $w_{t+1}=w_t+{\alpha }_w{\delta }_t{\nabla }_{w}q(s_t,a_t,w_t)$

     • 类似 TD 学习，逼近真实的 $q$ 函数。

  5. Actor 更新：

     ${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\nabla }_{\theta }\mu (s_t,{\theta }_t)({\nabla }_{a}q(s_t,a,w_{t+1})){|}_{a=\mu (s_t)}$

     • 利用 critic 提供的梯度信号，更新确定性策略。
     • 注意这里直接用梯度 ${\nabla }_{a}q$，而不是通过 log-likelihood trick。

Remarks

• This is an off-policy implementation where the behavior policy $\beta$ may be different from $\mu$.
• $\beta$ can also be replaced by $\mu +\text{noise}$.
• How to select the function to represent $q(s,a,w)$?

  • Linear function:

    $q(s,a,w)={\varphi }^T(s,a)w$ where $\varphi (s,a)$ is the feature vector. Details can be found in the DPG paper.

  • Neural networks: deep deterministic policy gradient (DDPG) method.

Remarks 的意义

• Off-policy：
  • 行为策略 $\beta$ 可以和目标策略 $\mu$ 不同。
  • 好处：数据采样更灵活，可以复用过去的经验（比如 replay buffer）。
• 行为策略 = 目标策略 + 噪声：
  • 常见做法：在 $\mu$ 的输出上加噪声（如 Ornstein-Uhlenbeck noise），增加探索性。
  • DDPG 就是这样实现的。
• Q 函数表示方式：

  1. 线性函数近似：

     $q(s,a,w)={\varphi }^T(s,a)w$

     • 简单高效，但表达能力有限。

  2. 神经网络：

     • 对连续动作空间更适用（即 DDPG 方法）。
     • 神经网络负责拟合复杂的 $q$ 函数。

与随机策略梯度的对比

• 随机策略梯度：

  更新依赖于 ${\nabla }_{\theta }\log {\pi }_{\theta }(a|s)q_{\pi }(s,a)$。

  • 优点：可以探索更多动作。
  • 缺点：连续动作空间中采样效率低。

• 确定性策略梯度：

  更新依赖于 ${\nabla }_{\theta }\mu (s){\nabla }_{a}q(s,a)$。

  • 优点：直接学最优动作，避免动作采样；更适合高维连续控制问题。
  • 缺点：探索能力依赖额外噪声机制。

---

总结

Actor-Critic 方法通过 Critic 提供的价值估计来指导 Actor 的策略更新，而在确定性策略梯度（DPG/DDPG）中，Actor 直接输出动作并利用 ${\nabla }_{\theta }\mu (s){\nabla }_{a}q(s,a)$ 更新，避免了概率采样，高效适用于连续动作空间，但探索需依赖额外噪声。