Soft Actor-Critic (SAC)算法

Soft Actor-Critic (SAC)算法

Kullback-Leibler Divergence (KL divergence)

定义

假设对随机变量 $\xi$，存在两个概率分布 $P,Q$。如果 $\xi$ 为离散随机变量，定义从 $P$ 到 $Q$ 的KL散度为:

$${\mathbb{D}}_{\text{KL}}(P||Q)=\sum _{i}P(i)\ln (\frac{P(i)}{Q(i)})$$

如果 $\xi$ 为连续随机变量，定义从 $P$ 到 $Q$ 的KL散度为:

$${\mathbb{D}}_{\text{KL}}(P||Q)={\int }_{-\infty }^{\infty }p(\mathbf{x})\ln (\frac{p(\mathbf{x})}{q(\mathbf{x})})d\mathbf{x}$$

KL散度的基本性质

KL 散度是衡量两个概率密度分布差异性的指标，越大则差异性越大，最小值是0，仅在二者完全相同时取到.

1. 非负性

$${\mathbb{D}}_{\text{KL}}(P||Q)\ge 0$$

${\mathbb{D}}_{\text{KL}}=0$当且仅当$P=Q$.

我们仅对离散情况进行证明，对于连续随机变量情况，我们将积分视为求和的极限后可以用相同方式证明

我们只需要证明 ${\sum }_{i}P(i)\ln (\frac{Q(i)}{P(i)})\le 0$。采用不等式$\ln (\mathbf{x})\le \mathbf{x}-1,\forall x>0$，则:

$$\sum _{i}P(i)\ln (\frac{Q(i)}{P(i)})\le \sum _{i}P(i)(\frac{Q(i)}{P(i)}-1)=0$$

等号当且仅当对于任意的 $i$，$\frac{Q(i)}{P(i)}=1$时取得，此时有 $P=Q$.

2. 仿射变换不变性

假设 $\mathbf{y}=a\mathbf{x}+b$，那么：

$${\mathbb{D}}_{\text{KL}}(P(\mathbf{x})\Vert Q(\mathbf{x}))={\mathbb{D}}_{\text{KL}}(P(\mathbf{y})\Vert Q(\mathbf{y}))$$

证明：

利用随机变量的变换公式 $p(\mathbf{y})d\mathbf{y}=p(\mathbf{x})d\mathbf{x}$，我们有：

$$\begin{gathered} {\mathbb{D}}_{\text{KL}}(P(\mathbf{y})\Vert Q(\mathbf{y}))=\int P(\mathbf{y})\log (\frac{P(\mathbf{y})}{Q(\mathbf{y})})d\mathbf{y} \\ =\int P(\mathbf{x})\log (\frac{P(\mathbf{x})}{Q(\mathbf{x})})d\mathbf{x}={\mathbb{D}}_{\text{KL}}(P(\mathbf{x})\Vert Q(\mathbf{x})) \end{gathered}$$

3. 非对易性

$${\mathbb{D}}_{\text{KL}}(P||Q)\ne {\mathbb{D}}_{\text{KL}}(Q||P)$$

4. 值域

${\mathbb{D}}_{\text{KL}}(P||Q)$ 在一定条件下可以趋向于无穷。

参见 关于KL散度（Kullback-Leibler Divergence）的笔记

SAC 算法

SAC 算法是针对stochastic-policy MDP的一种强化学习算法, 下面我们对其原理进行介绍.

SAC 算法研究的MDP和我们上面介绍的MDP并不完全相同, 其修改了Q value function的定义:

$$Q^{\pi }(s,a)\triangleq Q^{\pi }(s,a)-\ln (\pi (a|s))$$

假定 V 和 Q 依旧满足 Bellman function, 则 V value function的定义也要相应变化为

$$V^{\pi }(s)\triangleq V^{\pi }(s)-\mathcal{H}(\pi (\cdot |s))$$

$\mathcal{H}$ 表示 entropy.

SAC 算法的流程借鉴了 DDPG, 但是由于 V 和 Q 函数的定义发生了变化, 因此相应的 loss function 也要代入新的定义.

V’s loss:

$$\underset{(s,a,r,s^{\prime })\sim \mathcal{D}}{\mathbb{E}}\mathrm{se}(V(s),\underset{\genfrac{}{}{0ex}{}{a^{\prime }\sim \pi ,}{a^{\prime }\in \mathcal{A}}}{\mathbb{E}}Q(s,a^{\prime })-\pi (s,a^{\prime }))$$

Q’s loss:

$$\underset{(s,a,r,s^{\prime })\sim \mathcal{D}}{\mathbb{E}}\mathrm{se}(Q(s,a),r+\gamma \underset{s^{\prime }\sim p(\cdot |s,a)}{\mathbb{E}}(V^{\prime }(s^{\prime })))$$

policy’s loss:

$$\underset{(s,a,r,s^{\prime })\sim \mathcal{D}}{\mathbb{E}}{\mathbb{D}}_{\text{KL}}(\pi (\cdot |s)||\exp Q(s,\cdot ))$$

让policy取某一个动作的概率和它所对应的Q值成正比.

policy improvement 证明（参见论文Lemma 2）：

由 update rule 可知

$$\underset{a\sim {\pi }_{new}(\cdot |s)}{\mathbb{E}}[\ln {\pi }_{new}(s,a)-Q_{old}(s,a)]<\underset{a\sim {\pi }_{old}(\cdot |s)}{\mathbb{E}}[\ln {\pi }_{old}(s,a)-Q_{old}(s,a)]=V_{old}(s)$$

证明:

Q o l d ( s t , a t ) = r t + γ E s t + 1 ∼ p ( ⋅ ∣ s t , a t ) ( V ′ ( s t + 1 ) ) ≤ r t + γ E s t + 1 ∼ p ( ⋅ ∣ s t , a t ) { E a t + 1 ∼ π n e w ( ⋅ ∣ s t + 1 ) [ Q o l d ( s t + 1 , a t + 1 ) − ln ⁡ π n e w ( s , a ) ] } ≤ . . . ≤ E ( s t , a t , . . . ) ∼ π n e w { r t + γ r t + 1 + . . . ∣ s t , a t } = Q n e w ( s t , a t ) \begin{aligned} Q_{old}(s_t,a_t) & = r_t + \gamma \mathop{\mathbb{E}}\limits_{s_{t+1}\sim p(\cdot|s_t,a_t)}(V'(s_{t+1})) \\ &\leq r_t + \gamma \mathop{\mathbb{E}}\limits_{s_{t+1}\sim p(\cdot|s_t,a_t)}\{\mathop{\mathbb{E}}\limits_{a_{t+1}\sim \pi_{new}(\cdot|s_{t+1})}[\textcolor{red}{Q_{old}(s_{t+1},a_{t+1})} - \ln \pi_{new}(s,a)]\} \\ & \leq ... \leq \mathop{\mathbb{E}}\limits_{(s_t,a_t,...)\sim \pi_{new}}\{r_{t}+\gamma r_{t+1}+...|s_t, a_t\}=Q_{new}(s_t,a_t) \end{aligned} Qold​(st​,at​)​=rt​+γst+1​∼p(⋅∣st​,at​)E​(V′(st+1​))≤rt​+γst+1​∼p(⋅∣st​,at​)E​{at+1​∼πnew​(⋅∣st+1​)E​[Qold​(st+1​,at+1​)−lnπnew​(s,a)]}≤...≤(st​,at​,...)∼πnew​E​{rt​+γrt+1​+...∣st​,at​}=Qnew​(st​,at​)​

最新修订于 2023/08/21