人工智能之数学基础:神经网络的矩阵参数求导

本文重点

在前面的课程中我们介绍了逻辑回归算法和线性回归算法的矩阵参数的求导操作，如果要是掌握了方法就会非常的简单，所以不建议对导数的求导公式死记硬背，只要掌握了方法之后，很多求导都是可以推导出来的，下面我们将介绍一下，神经网络的参数矩阵是如何求导的。

神经网络的前向传播公式

神经网络的损失函数计算如下所示：

其中y表示一个除一个元素为1外其它元素为0的的列向量,这里我们设置它的维度为m*1,那么说明它是m分类的问题，x是n*1的向量，x表示样本表示一个样本，这个样本有n个特征。我们要求∂l/∂w2和∂l/∂w1，这个就是目的，但是这是一个复合的求导，所以我们需要令w1x=a1，然后令σ(a1)=h1,然后令w2h1=a2，所以此时的l就是：

这个公式是不是很熟悉，这个就是上节课程中我们介绍的多元逻辑回归，那么∂l/∂a2我