9.感知机、神经网络

神经网络：是由多层感知机（MLP）组成的比感知机更复杂的神经网络结构，它通过多层神经元来处理信息。

感知机
由多元线性回归，加上一个激活函数组成。激活函数的作用是进行判断，达到某一个阈值就会输出信号，否则则保持沉默，事实上达到了分类的效果。
特殊的，当激活函数为Sigmoid函数时，此时感知机为逻辑回归。

感知机的特点在于其可以学习，他会根据loss来反向传播调整权重，采用的方法是梯度下降法。

神经网络
通过加入隐藏层，由于激活函数是非线性的，所以引入了非线性变换。这样，会拟合效果更好。

通过加深网络层数，引入更多隐藏层，引入更复杂的非线性变换，也可以预测多个输出。