深度学习与自动驾驶中的一些技术

深度学习与自动驾驶中的一些技术

强化学习 reinforcement learning

1. 框架

   1. 智能体在环境中运行
   2. 智能体具备执行动作的能力
   3. 每个动作都会影响智能体的未来状态
   4. 通过奖励信号衡量成功与否
   5. 目标是选择能最大化未来奖励的动作

2. 马尔可夫决策过程 Markov Decision Process

   是一种用于自动驾驶汽车深度学习的数学模型，用于描述序列决策问题

   $s_0,a_0,r_1,s_1,a_1,r_2,...,s_{n-1},a_{n-1},r_n,s_n$

   $s$：state;

   $a$：action;

   $r$：reward

   $s_n$：Terminal state

3. Major Components of an RL Agent

   policy：策略；智能体的行为函数

   value function：价值函数；每个状态和\或动作的好坏程度

   model：模型；智能体对环境的表征

4. value function

   future reward：

   $R=r_1+r_2+r_3+...+r_n$

   $R_t=r_t+r_{t+1}+r_{r+2}+...+r_n$

   discounted future reward(environment is stochastic)未来奖励的折扣（环境是随机的）:

   $R_t=r_t+\gamma r_{t+1}+{\gamma }^2{r}_{t+2}+...+{\gamma }^{n-t}{r}_n=r_t+\gamma (r_{t+1}+\gamma (r_{t+2}+...))=r_t+\gamma R_{t+1}$

   对于智能体来说，一个好的策略是始终选择一个最大化（discounte）未来奖励的动作

5. Q-Learning

   Q学习是一种强化学习算法，常用于自动驾驶等机器学习领域

   state value function:状态价值函数：$V^{\Pi }(s)$

   在s开始并跟随Π时的预期返回

   state-action value function:状态-动作价值函数：$Q_{\Pi }(s,a)$

   在s中开始、执行a和跟随Π时的预期返回

   Useful for finding the optimal policy可用于查找最佳策略

   可以基于经验进行估计（Monte Carlo）

   使用$Q_{\Pi }(s,a)$选择最佳动作

   Q-learning: off-policy非策略

   使用任何策略来估计Q，以最大化未来的奖励：$Q(s_t,a_t)=max{R}_{t+1}$

   Q直接近似于Q* (Bellman最优性方程）

   与所遵循的政策无关

   仅需满足一个条件：持续更新每个（s，a）对

   $Q_{t+1}(s_t,a_t)=Q_t(s_t,a_t)+\alpha (R_{t+1}+\gamma ma{x}_a{Q}_t(s_{t+1},a)-Q_t(s_t,a_t))$

   $Q_{t+1}(s_t,a_t)$:新状态

   $Q_t(s_t,a_t)$:旧状态

   $R_{t+1}$:奖励

   $\alpha$:学习率

   $\gamma$:discount factor

6. Deep Q-Learning

   使用函数（带参数）来近似Q函数

   非线性：Q-Network

   $Q(s,a;\theta )\approx Q^{\ast }(s,a)$

   1. Deep Q-Network: Atari

   2. training:

      bellman equation:$Q(s,a)=r+\gamma ma{x}_{a^{\prime }}Q(s^{\prime },a^{\prime })$

      loss function(squared error):$L=E[(r+\gamma ma{x}_{a^{\prime }}Q(s^{\prime },a^{\prime })-Q(s,a))]$

Long Short Term Memory（LSTM）Networks

1. LSTM：选择忘记什么和记住什么

2. LSTM Conveyer Belt

   LSTM传送带用于传输先前状态和新的数据：

   决定忘记什么（状态）

   决定记住什么（状态）

   决定输出什么（条件判断）

   1. step1：决定忘记/忽视什么

      $f_t=\sigma (W_f\cdot [h_{t-1},x_t]+b_f)$

   2. step2：决定要更新哪些状态值（使用sigmoid函数）以及用哪些值进行更新（使用tanh函数）

      $i_t=\sigma (W_i\cdot [h_{t-1},x_t]+b_i)$

      ${\tilde{C}}_t=tanh(W_c\cdot [h_{t-1},x_t]+b_C)$

   3. step3：执行遗忘和状态更新

      $C_t=f_t\ast C_{t-1}+i_t\ast {\tilde{C}}_t$

   4. step4：生成输出时使用tanh [-1,1]决定数值，同时使用sigmoid [0,1]进行过滤

      $o_t=\sigma (W_o[h_{t-1},x_t]+b_o)$

      $h_t=o_t\ast tanh(C_t)$