【深度学习】反向传播
文章目录
- 一、为什么要做反向传播？
- 二、反向传播的作用
一、为什么要做反向传播？
反向传播是深度学习模型能 “学会” 东西的核心环节。
反向传播的步骤如下：
- 计算损失函数（Loss(W）)对各个参数（权重矩阵中的各个矩阵元素）的梯度（偏导数，因为参数很多很多）。
- 根据每个参数的偏导数值，来调整参数，使损失变小（具体调整做法在下面）。
二、反向传播的作用
- 1.通过链式法则，计算出了偏导数
反向传播通过链式法则，从输出层往输入层回溯，精准算出误差对每个参数的偏导数。
注意，公式右边的计算需要用到输入特征X和预测结果Y，因此在做反向传播之前，要先进行一次前向传播。
- 2.指导参数调大还是调小，以及调整幅度
梯度值，比如梯度为2，我们要提取两个信息：
- 正负
- 大小
梯度为正，参数需减小以降低误差；梯度为负，参数需增大以降低误差。
具体的更新公式为：参数 = 参数 - 学习率 × 梯度。
梯度越大，参数当前对误差影响越大。