每天五分钟深度学习:深层神经网络的前向传播算法和反向传播算法
本文重点
我们前面已经介绍了神经网络的前向传播算法和反向传播算法,但是介绍的是单隐层的神经网络,也就是不是深层的神经网络,本节课程我们将学习深层神经网络的前向传播算法和反向传播算法,其实一样的,就是前向传播多计算几层,反向传播多反向传播几层,没什么特殊的区别。
深层神经网络的前向传播算法:
对于前向传播而言,只要有l-1层的输入a[l-1]我们就可以计算出l层的一切,前向传播就是从a计算z再计算a的过程
深层神经网络的反向传播算法:
反向传播也是很机械的,对于l层和l-1层而言,输入为da[l],输出为da[l−1],dw[l], db[l]
反向传播的单样本向量化可以写为:
反向传播的多样本的向量化实现可以写为: