强化学习的数学原理（十）actor-critic 方法

由于全文太长，只好分开发了。(已完结！在专栏查看本系列其他文章）

个人博客可以直接看全文~

本系列为在学习赵世钰老师的“强化学习的数学原理” 课程后所作笔记。

课堂视频链接https://www.bilibili.com/video/BV1sd4y167NS/

第十章 actor-critic 方法

actor-critic本身就是policy gradient

The simplest actor-critic

也称QAC（这里的Q是公式中的q，也就是action value）

policy gradient算法：
$$\begin{array}{rl}{\theta }_{t+1}& =\theta +\alpha {\nabla }_{\theta }J({\theta }_t)\\ & ={\theta }_t+\alpha {\mathbb{E}}_{S\sim \eta ,A\sim \pi }[{\nabla }_{\theta }ln\pi (A|S,{\theta }_t)q_{\pi }(S,A)]\\ {\theta }_{t+1}& ={\theta }_t+\alpha {\nabla }_{\theta }ln\pi (a_t|s_t,{\theta }_t)q_t(s_t,a_t)\end{array}$$
这个更新策略的算法就是actor， critic则用来估计$q_t(s_t,a_t)$

如何得到$q_t(s_t,a_t)$ ？

两种方法：

1. MC learning：这样结合就得到了REINFORCE算法。
2. Temporal-difference learning： actor-critic算法。

优化目标函数$J(\theta )$ ，使其最大化。

对于每个episode的第t步，执行如下：

1. 遵循$\pi (a|s_t,{\theta }_t)$ 生成$a_t$ ，得到($r_{t+1},s_{t+1}$) ,然后遵循$\pi (a|s_{t+1},{\theta }_t)$ 生成$a_{t+1}$

2. Critic（value update）：
   $$w_{t+1}=w_t+{\alpha }_w[r_{t+1}+\gamma q(s_{t+1},a_{t+1}),w_t]-q(s_t,a_t,w_t){\nabla }_{w}q(s_t,a_t,w_t)$$
   Actor (policy update):
   $${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\nabla }_{\theta }ln\pi (a_t|s_t,{\theta }_t)q(s_t,a_t,w_{t+1})$$

这个算法是on-policy 的。

The simplest actor-critic实际上就是 SARSA + value function approximation

advantage actor-critic

也叫AAC ，A2C

首先我们为policy gradient 引入一个新的baseline（b函数）
KaTeX parse error: Invalid color: ' #0000FF' at position 238: …A) - \textcolor{̲ ̲#̲0̲0̲0̲0̲F̲F̲}̲{b(S)})] \end{…
为什么引入新的b 函数，等式依然成立？

因为如下公式成立：
$${\mathbb{E}}_{S\sim \eta ,A\sim \pi }[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)b(S)]=0$$
详细地说:
$$\begin{array}{rl}{\mathbb{E}}_{S\sim \eta ,A\sim \pi }[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)b(S)]& =\sum _{s\in S}\eta (s)\sum _{a\in \mathcal{A}}\pi (a|s,{\theta }_t){\nabla }_{\theta }\ln \pi (a|s,{\theta }_t)b(s)\\ & =\sum _{s\in S}\eta (s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,{\theta }_t)b(s)\\ & =\sum _{s\in S}\eta (s)b(s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,{\theta }_t)\\ & =\sum _{s\in S}\eta (s)b(s){\nabla }_{\theta }\sum _{a\in \mathcal{A}}\pi (a|s,{\theta }_t)\\ & =\sum _{s\in S}\eta (s)b(s){\nabla }_{\theta }1=0\end{array}$$
引入这个b函数有什么用？

我们说${\nabla }_{\theta }J(\theta )=\mathbb{E}[X]$

那么我们知道

• $\mathbb{E}[X]$ 和b(S) 无关。
• X的方差和b有关。

所以我们可以通过设置b函数来减小方差。

设置b函数为如下值时，能使得方差最小：
$$b^{\ast }(s)=\frac{{\mathbb{E}}_{A\sim \pi }[||{\nabla }_{\theta }\ln \pi (A|s,{\theta }_t)|{|}^{2}q(s,A)||]}{{\mathbb{E}}_{A\sim \pi }[||{\nabla }_{\theta }\ln \pi (A|s,{\theta }_t)|{|}^2||]}$$
其中$||{\nabla }_{\theta }\ln \pi (A|s,{\theta }_t)|{|}^2$ 可以被认为是一个权重。

但是这个公式太复杂了。我们一般直接用

$b(s)={\mathbb{E}}_{A\sim \pi }[q(s,A)]=v_{\pi }(s)$

把上式带入公式中，我们可以得到gradient-ascent算法：
KaTeX parse error: Invalid color: ' #0000FF' at position 111: …t) ( \textcolor{̲ ̲#̲0̲0̲0̲0̲F̲F̲}̲{q_\pi(S,A) - v…
我们叫${\delta }_{\pi }(S,A)=q_{\pi }(S,A)-v_{\pi }(S)$ 为advantage funciton（优势函数）

$v_{\pi }(S)$ 是某个状态下的action的平均值， 所以${\delta }_{\pi }(S,A)$ 描述了当前的action和同状态的其他action相比的优劣。

公式还可以写成下面：
$$\begin{gathered} {\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t){\delta }_t(s_t,a_t) \\ ={\theta }_t+\alpha \frac{{\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)}{\pi (a_t|s_t,{\theta }_t)}{\delta }_t(s_t,a_t) \\ ={\theta }_t+\alpha \frac{{\delta }_t(s_t,a_t)}{\pi (a_t|s_t,{\theta }_t)}{\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t) \end{gathered}$$
于是我们公式中的$\frac{{\delta }_t(s_t,a_t)}{\pi (a_t|s_t,{\theta }_t)}$ 决定了step-size（和第9讲REINFORCE中的${\beta }_t$ 一样能够很好地平衡$exploration$ 和$exploitation$

A2C ，或者TD actor-critic 的过程：

目标是寻找最大的$J(\theta )$

在每个episode的第t时刻，我们执行如下：

1. 遵循$\pi (a|s_t,{\theta }_t)$生成$a_t$ 然后得到$r_{t+1},s_{t+1}$

2. TD error(advantage function):

   ${\delta }_t=r_{t+1}+\gamma v(s_{t+1},w_t)-v(s_t,w_t)$

3. Critic (value update):

   $w_{t+1}=w_t+{\alpha }_w{\delta }_t{\nabla }_{w}v(s_t,w_t)$

4. Actor(plicy update):

   ${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\delta }_t{\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)$

这是一个on-policy 的。

off-policy actor-critic

Policy gradient是on-policy的原因是梯度必须服从$\pi$ 策略，这里的$\pi$ 既是behavior policy ，同时这个$\pi$ 也是我们要更新的target policy。

可以使用importance sampling 来把on-policy转为off-policy。
$${\mathbb{E}}_{X\sim p_0}[X]=\sum _x{p}_0(x)x=\sum _x{p}_1(x)\frac{p_0(x)}{p_1(x)}x={\mathbb{E}}_{X\sim p_1}[f(X)]$$
于是我们就可以通过$p_1$ 进行采样，然后估计$p_0$ 采样下的均值。 那么热和计算$ \mathbb E_{X\sim p_1} [f(X)]$ ?

令f为如下函数：

$$f=\frac{1}{n}\underset{i=1}{\sum ^n}f(x_i),\text{where }{x}_i\sim p_i$$
那么就有
$$\begin{array}{rl}{\mathbb{E}}_{X\sim p_1}[\overline{f}]& ={\mathbb{E}}_{X\sim p_1}[f(X)]\\ va{r}_{X\sim p_1}[\overline{f}]& =\frac{1}{n}va{r}_{X\sim p_1}[f(X)]\end{array}$$
所以$\overline{f}$ （f的平均数）就可以用来估计${\mathbb{E}}_{X\sim p_1}[\overline{f}]={\mathbb{E}}_{X\sim p_0}[X]$
$${\mathbb{E}}_{X\sim p_0}[X]\approx \overline{f}=\frac{1}{n}\underset{i=1}{\sum ^n}f(x_i)=\frac{1}{n}\underset{i=1}{\sum ^n}\frac{p_0(x_i)}{p_1(x_i)}{x}_i$$
这里的$\frac{p_0(x_i)}{p_1(x_i)}$ 可以被认为是权重，那么直观地看就是对于$p_0$ 相对难取的样本，赋予更高的权重。

这个权重叫做 importance权重。

就是因为我们只能知道$p_0(x)$ ，但求不出${\mathbb{E}}_{X\sim o_0}[X]$ , 所以才需要importance sampling。

假设$\beta$ 是behavior policy生成的经验采样。

我们的目标是更新target policy $\pi$ 来最大化$J(\theta )$
$$J(\theta )=\sum _{s\in S}{d}_{\beta }(s)v_{\pi }(s)={\mathbb{E}}_{S\sim d_{\beta }}[v_{\pi }(S)]$$
他的梯度如下：
$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{S\sim \rho ,A\sim \beta }[\frac{\pi (A|S,\theta )}{\beta (A|S)}{\nabla }_{\theta }\ln \pi (A|S,\theta )q_{\pi }(S,A)]$$
这里的$\beta$ 是behavior policy ，$\rho$ 是state distribution。

优化：

我们仍然可以通过加上baseline来进行优化：$\delta \pi(S,A) = q\pi(S,A) - v_\pi(S) $ 。

$${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }\frac{\pi (a_t|s_t,{\theta }_t)}{\beta (a_t|s_t)}{\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)(q_t(s_t,a_t)-v_t(s_t))$$
在这之中
$$q_t(s_t,a_t)-v_t(s_t)\approx r_{t+1}+\gamma v_t(s_{t+1})-v_t(s_t)={\delta }_t(s_t,a_t)$$
于是最终的算法就是
$${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }\frac{{\delta }_t(s_t,a_t)}{\beta (a_t|s_t)}{\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)\pi (a_t|s_t,{\theta }_t)$$

Deterministic actor-critic

DPG和之前的（QAC，A2C、off-policy的actor-critic）相比的一大特点就是他的策略$\pi (a|s,\theta )$ 可以是负数。

于是我们用deterministic policies来解决continuous action（无限个的、连续的action）

之前我们是通过策略 $\pi (a|s,\theta )\in [0,1]$ 来决定要采取哪个动作a。

而现在我们改成下面这样：
$$a=\mu (s,\theta )$$
意味着我们直接通过s得到a的值，而不是借助每一个action的概率来决定选择哪个a。
$$J(\theta )=\mathbb{E}[v_{\mu }(s)]=\sum _{s\in S}{d}_0(s)v_{\mu }(s)$$
$d_0$ 的选择和$\mu$ 无关。

选择$d_0$的两种特殊的情况：

1. $d_0(s_0)-1$ ,$d_0(s\ne s_0)=0$ . 在这里$s_0$ 是一个特殊的开始状态。
2. $d_0$ 取决于behavior policy 在$\mu$ 上的内容。

$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& =\underset{s\in S}{{\rho }_{\mu }(s){\nabla }_{\theta }\mu (s)({\nabla }_a{q}_{\mu }(s,a)){|}_{a=\mu (s)}}\\ & ={\mathbb{E}}_{S\sim {\rho }_{\mu }}[{\nabla }_{\theta }\mu (s)({\nabla }_a{q}_{\mu }(s,a)){|}_{a=\mu (s)}]\end{array}$$

这里面的梯度没有action A。

所以这个deterministic policy gradient 是一个off-policy的方法。（因为我们不需要关心这个a是通过哪个策略得到的）

梯度上升：
$$\begin{gathered} {\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\mathbb{E}}_{S\sim {\rho }_{\mu }}[{\nabla }_{\theta }\mu (s)({\nabla }_a{q}_{\mu }(s,a)){|}_{a=\mu (s)}] \\ {\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\nabla }_{\theta }\mu (s_t)({\nabla }_a{q}_{\mu }(s_t,a)){|}_{a=\mu (s)} \end{gathered}$$
注意：

• $\beta$ 和$\mu$ 是不同的。

• $\beta$ 也可以设置为$\mu +noise$.

如何选取$q(s,a,w)$ ?

1. 线性函数： $q(s,a,w)={\varphi }^T(s,a)w$
2. 神经网络：DDPG