1. 引言

1. 引言

• 机器学习关键组件：data、model、objective function、algorithm

  • 图像、音频 非结构化数据

  • 大量的正确的数据对于深度学习来说才有效，数据需要有代表性

  • 目标函数(loss/cost function)的数值越低越好

    预测数据：平方误差

    分类问题：最小化错误率

  • 优化算法：能搜索出最佳参数，以最小化损失函数。通常基于基本方法：梯度下降(gradient desecent)——在每一个步骤中都会检查每一个参数，看看如果只对这个参数进行微小改动，训练集损失会朝哪个方向移动，然后他在可以减少损失的方向上优化参数

1. 监督学习：

   回归regression：标签取任意数值时

   分类classification：哪一个。 binomial classification、multiclass classification、hierarchical classification

   标记问题：一个物体多个标签

   搜索：对查询条件的结果进行排序

   推荐系统：用户只会给其感受强烈的事物打分

   序列学习：需要有记忆功能。输入输出都是可变长度的序列（输出可能比输入短得多或相反）

2. 无监督学习：

   聚类clustering

   主成分分析 principal component analysis：找少数参数来准确的捕捉数据的线性相关属性

   因果关系 causality和概率图模型 probabilistic graphical models：找到数据的根本原因，根据数据找到他们之间的关系

   生成对抗性网络 generative adversarial networks：合成数据的方法

3. 强化学习Reinforcement Learning, RL：机器学习与环境交互并采取行动，是一种在环境中与之交互，通过奖励信号学习最优策略的学习方法。

   • 智能体agent在一系列的时间步骤上与环境交互，在每个特定时间点agent从环境接受一些观察observation，并选择一个动作action，然后通过某种机制（执行器）将其传回环境中，最后agent从环境中得到奖励reward。强化学习的目标是生成一个好的策略policy，agent选择action时会受到策略控制

   • 强化学习甚至可以包装为监督学习

   • 强化学习能解决很多监督学习无法解决的问题：监督学习是希望输出和正确的label关联。但在强化学习中我们不假设环境告诉agent每个观测的最优动作，agent只能得到reward，而环境甚至可能不会告诉是哪些行为导致了reward。比如游戏：只有赢了才知道好不好，中间每一步没有标签

   • 学分分配 credit assignment，如何追踪长期奖励的来源

   • 强化学习环境可能是部分可见的，即当前观测不能代表完整状态。举例：一个清洁机器人看到自己在一个房间里，但不知道怎么进来的需要从历史中推理出当前的完整状态（像人一样有记忆）。 RL 不仅是策略问题，还可能需要记忆和推理。

   • 强化学习中智能体必须平衡两个目标，与监督学习不同：

     利用（exploitation）：用目前已知的最优策略

     探索（exploration）：尝试未知的策略，以获得更多信息

   • 强化学习分类：

     当环境可被完全观察到时，强化学习问题被称为马尔可夫决策过程（markov decision process）。
     当状态不依赖于之前的操作时，我们称该问题为上下文赌博机（contextual bandit problem）。
     当没有状态，只有一组最初未知回报的可用动作时，这个问题就是经典的多臂赌博机（multi-armed bandit problem）。