强化学习策略梯度算法梳理：从REINFORCE到PPO2（REINFORCE、QAC、A2C、Off-Policy AC、PP01、PPO2））

强化学习策略梯度算法：从REINFORCE到PPO2

0 策略梯度算法对比总览

$$J(\theta )=\sum _{s_t}{d}^{{\pi }_{\theta }}(s_t)\sum _{a_t}{\pi }_{\theta }(a_t|s_t)Q^{{\pi }_{\theta }}(s_t,a_t)$$

算法名称	核心思想	关键改进点	目标函数 (期望形式)	主要优势	主要劣势
REINFORCE	蒙特卡洛策略梯度	直接使用轨迹回报	$J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}[R(\tau )]$	无偏，实现简单	高方差，样本效率低，必须回合更新
QAC	引入时序差分学习	Actor-Critic架构,用Q值代替回报，单步更新	$J_{actor}(\theta )={\mathbb{E}}_{s_t\sim d^{{\pi }_{\theta }},a_t\sim {\pi }_{\theta }}[Q^{{\pi }_{\theta }}(s_t,a_t)]$	方差降低，在线学习	引入偏差，On-Policy
A2C	引入优势函数	用A值代替Q值，进一步降低方差	$J_{actor}(\theta )={\mathbb{E}}_{s_t\sim d^{{\pi }_{\theta }},a_t\sim {\pi }_{\theta }}[A^{{\pi }_{\theta }}(s_t,a_t)]$	方差更低，学习更快	Critic误差影响Actor，on-policy样本效率有限
Off-Policy AC	引入重要性采样	可复用历史数据，off-policy	$J_{actor}(\theta )={\mathbb{E}}_{s_t\sim d^{\beta },a_t\sim \beta }\left[r_t(\theta )A_{{\pi }_{\theta }}\right]$	样本效率高	高方差，不稳定
PPO1	限制策略更新幅度	KL散度约束	$J_{actor}(\theta )={\mathbb{E}}_{s_t\sim d^{{\pi }_{{\theta }_{old}}},a_t\sim {\pi }_{{\theta }_{old}}}\left[r_t(\theta )A_{{\pi }_{\theta }}-\beta \text{KL}]\right]$	训练稳定，方差低	计算成本高
PPO2	裁剪简化算法	简化PPO1，裁剪代替KL约束	$J_{actor}(\theta )={\mathbb{E}}_{s_t,a_t}[\min (r_{t}A{A}_{{\pi }_{\theta }},\text{clip}(r_t,1ϵ,1+ϵ)A_{{\pi }_{\theta }})]$	简单高效，稳定	超参数敏感

1 REINFORCE算法：蒙特卡洛策略梯度

1.目标函数

• 初始目标函数（期望形式）：
  $$J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}[R(\tau )]$$

• 初始目标函数（展开形式）：
  $$J(\theta )=\sum _{\tau }P(\tau ;\theta )R(\tau )$$

2.梯度函数

• 目标函数的梯度（期望形式）：
  $${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[\sum _{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot G_t\right]$$

• 目标函数的梯度（展开形式）：
  $${\nabla }_{\theta }J(\theta )=\sum _{\tau }P(\tau ;\theta )\left[\sum _{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot G_t\right]$$

3.符号解释

符号解释：

• $\tau$: 轨迹
• $P(\tau ;\theta )$: 轨迹$\tau$的发生概率
• $R(\tau )$: 轨迹的累积回报
• ${\pi }_{\theta }(a_t|s_t)$: 策略函数
• $G_t$: 从时间步t开始的回报

4.优缺点

优点：

1. 概念简单直观，易于实现
2. 直接优化策略，适用于连续和离散动作空间
3. 具有理论上的无偏性

缺点：

1. 方差非常高
2. 样本效率低
3. 收敛速度慢，且训练不稳定

5.解决的问题

策略梯度定理给出了一个理论可行的方法，可以直接优化策略，适用于连续动作空间，可学习随机策略。reinforce算法提供了策略梯度定理的一个具体实现方案，但没有解决高方差问题

2 QAC算法：引入时序差分学习

1.目标函数

• 初始目标函数（期望形式）：
  $$J(\theta )={\mathbb{E}}_{s_t\sim d^{{\pi }_{\theta }},a_t\sim {\pi }_{\theta }}[Q^{{\pi }_{\theta }}(s_t,a_t)]$$

• 初始目标函数（展开形式）：
  $$J(\theta )=\sum _{s_t}{d}^{{\pi }_{\theta }}(s_t)\sum _{a_t}{\pi }_{\theta }(a_t|s_t)Q^{{\pi }_{\theta }}(s_t,a_t)$$

2.梯度函数

• 目标函数的梯度（期望形式）：
  $${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{s_t\sim d^{{\pi }_{\theta }},a_t\sim {\pi }_{\theta }}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot Q_w(s_t,a_t)\right]$$

• 目标函数的梯度（展开形式）：
  $${\nabla }_{\theta }J(\theta )=\sum _{s_t}{d}^{{\pi }_{\theta }}(s_t)\sum _{a_t}{\pi }_{\theta }(a_t|s_t){\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot Q_w(s_t,a_t)$$

3.符号解释

符号解释：

• $d^{{\pi }_{\theta }}(s_t)$: 策略${\pi }_{\theta }$下的状态分布
• $Q_w(s_t,a_t)$: 由参数w近似的动作价值函数

4.优缺点

优点：

1. 方差显著降低
2. 样本效率提高
3. 学习更稳定

缺点：

1. 引入了估计偏差
2. 对函数近似器的选择敏感
3. 仍然是On-Policy

5.解决的问题

引入时序差分的思想，用Q值代替回报，单步更新，降低方差，提高样本效率

3 A2C算法：引入优势函数

1.目标函数

• 初始目标函数（期望形式）：
  $$J(\theta )={\mathbb{E}}_{s_t\sim d^{{\pi }_{\theta }},a_t\sim {\pi }_{\theta }}[A^{{\pi }_{\theta }}(s_t,a_t)]$$

• 初始目标函数（展开形式）：
  $$J(\theta )=\sum _{s_t}{d}^{{\pi }_{\theta }}(s_t)\sum _{a_t}{\pi }_{\theta }(a_t|s_t)A^{{\pi }_{\theta }}(s_t,a_t)$$

2.梯度函数

• 目标函数的梯度（期望形式）：
  $${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{s_t\sim d^{{\pi }_{\theta }},a_t\sim {\pi }_{\theta }}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot A^{{\pi }_{\theta }}(s_t,a_t)\right]$$

• 目标函数的梯度（展开形式）：
  $${\nabla }_{\theta }J(\theta )=\sum _{s_t}{d}^{{\pi }_{\theta }}(s_t)\sum _{a_t}{\pi }_{\theta }(a_t|s_t){\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot A^{{\pi }_{\theta }}(s_t,a_t)$$

3.符号解释

符号解释：

• $A^{{\pi }_{\theta }}(s_t,a_t)$: 优势函数，$A^{{\pi }_{\theta }}=Q^{{\pi }_{\theta }}(s_t,a_t)-V^{{\pi }_{\theta }}(s_t)$

4.优缺点

优点：

1. 方差进一步降低
2. 学习更稳定、更快
3. 探索性更好

缺点：

1. 需要同时学习V和π
2. 仍受限于On-Policy

5.解决的问题

引入基线，构造优势函数，用A值代替Q值，进一步降方差

4 Off-policy AC算法：引入重要性采样

1.目标函数

• 初始目标函数（期望形式）：
  $$J(\theta )={\mathbb{E}}_{s_t\sim d^{\beta },a_t\sim \beta }\left[r_t(\theta )A_{{\pi }_{\theta }}\right]$$
  $$r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{\beta (a_t|s_t)}$$
  $$A_{{\pi }_{\theta }}=Q_{{\pi }_{\theta }}(s_t,a_t)-V_{{\pi }_{\theta }}(s_t)$$

• 初始目标函数（展开形式）：
  $$J(\theta )=\sum _{s_t}{d}^{\beta }(s_t)\sum _{a_t}\beta (a_t|s_t)\frac{{\pi }_{\theta }(a_t|s_t)}{\beta (a_t|s_t)}{A}_{{\pi }_{\theta }}(s_t,a_t)$$

2.梯度函数

• 目标函数的梯度（期望形式）：
  $${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{s_t\sim d^{\beta },a_t\sim \beta }\left[\frac{{\pi }_{\theta }(a_t|s_t)}{\beta (a_t|s_t)}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot A_{{\pi }_{\theta }}\right]$$

• 目标函数的梯度（展开形式）：
  $${\nabla }_{\theta }J(\theta )=\sum _{s_t}{d}^{\beta }(s_t)\sum _{a_t}\beta (a_t|s_t)\left(\frac{{\pi }_{\theta }(a_t|s_t)}{\beta (a_t|s_t)}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot A_{{\pi }_{\theta }}\right)$$

3.符号解释

符号解释：

• $\beta (a_t|s_t)$: 行为策略
• $\frac{{\pi }_{\theta }(a_t|s_t)}{\beta (a_t|s_t)}$: 重要性采样比率

4.优缺点

优点：

1. 极高的样本效率
2. 探索与利用分离
3. 适用于大规模问题

缺点：

1. 高方差问题
2. 数值不稳定
3. 理论复杂

5.解决的问题

引入重要采样，可复用历史数据，将on-policy的AC方法转化为off-policy的方法

5 PPO1算法：限制策略更新幅度

1.目标函数

• 初始目标函数（期望形式）：

$$J(\theta )={\mathbb{E}}_{s_t\sim d^{{\pi }_{{\theta }_{old}}},a_t\sim {\pi }_{{\theta }_{old}}}\left[r_t(\theta )A_{{\pi }_{\theta }}-\beta \cdot \text{KL}[{\pi }_{{\theta }_{old}}(\cdot |s_t)||{\pi }_{\theta }(\cdot |s_t)]\right]$$
$$r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{\beta (a_t|s_t)}$$
$$A_{{\pi }_{\theta }}=Q(s_t,a_t)-V(s_t)$$

2.梯度函数

• 目标函数的梯度：涉及约束优化，无简单形式，用的不多，后续补上

3.符号解释

符号解释：

• ${\pi }_{{\theta }_{old}}$: 旧策略
• $\text{KL}$: KL散度
• $\beta$: 惩罚系数

4.优缺点

优点：

1. 训练稳定
2. 方差更低
3. 更少的超参数调优

缺点：

1. 计算成本较高
2. 性能可能稍逊于TRPO

5.解决的问题

引入信任域思想，约束策略变化，

6 PPO2算法：引入裁剪简化算法

• 初始目标函数（期望形式）：
  $$J_{actor}(\theta )={\mathbb{E}}_{s_t\sim d^{{\pi }_{{\theta }_{old}}},a_t\sim {\pi }_{{\theta }_{old}}}\left[\min \left(r_t(\theta )A_{{\pi }_{\theta }},\text{clip}\left(r_t(\theta ),1-ϵ,1+ϵ\right)A_{{\pi }_{\theta }}\right)\right]$$
  $$r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{old}}(a_t|s_t)}$$
  $$A_{{\pi }_{\theta }}=Q(s_t,a_t)-V(s_t)$$
• 目标函数的梯度：通过自动微分计算

符号解释：

• $\text{clip}$: 裁剪函数
• $ϵ$: 裁剪幅度超参数
• $A_{{\pi }_{\theta }}$优势函数，PPO实际上采用的是GAE版本的优势函数，可参考博客：深入解析强化学习中的 Generalized Advantage Estimation (GAE)

优点：

1. 实现简单，计算高效
2. 训练非常稳定
3. 成为主流算法

缺点：

1. 超参数$ϵ$敏感
2. 可能限制探索

7 总结

从REINFORCE到PPO2的演进过程，清晰地展示了深度强化学习算法在发展中所追求的核心目标：在保持无偏或可控偏差的前提下，不断降低方差、提高样本效率、增强训练稳定性。

• REINFORCE 作为起点，奠定了策略梯度的基础，但其高方差和低样本效率是主要瓶颈。
• QAC 和 A2C 通过引入价值函数近似和优势函数，有效降低了方差并实现了更高效的在线更新。
• Off-policy AC 利用重要性采样打破了on-policy的限制，大幅提升了样本效率，但引入了新的方差问题。
• PPO1 和 PPO2 通过限制策略更新幅度（KL约束或裁剪），极大地增强了训练的稳定性，使算法更易于使用和调参，最终成为当前最流行的策略梯度算法之一。
  后记
  在deepseek辅助下完成。