网站名称 中国 备案重庆教育建设有限公司网站

浅层神经网络的前向传播

计算流程

第一个激活函数是为了把线性变换的各条线变成更便于拟合的,具有非线性特征的线
第二个线性变换是为了把这些具有非线性特征的线拟合成一条线
第二个激活函数是为了把结果限制在0-1之间

与单神经元相比，不同在于每个不同的神经元对相同的输入有不同权

n*m n为隐层神经元个数，m为输入的特征x的数目

• 这是W权重的矩阵

输入的特征x	x1	x2	x3	…	xm
神经元
a1
a2
a3
a4
…
an

而在单神经元中$w$仅有一行

矩阵在运算时形状的变化

$n是隐层神经元的个数，m是特征x的数目（一个样本里有m个x），M是样本数目$

• 前向过程计算：

$第一步，各神经元线性代换$
$z^{[1]}=W^{[1]}x+b^{[1]}(形状：(n,M)=(n,m)\ast (m,M)+(M,1))$

$第二步，对各神经元的代换结果进行激活函数(z)$
$a^{[1]}=\sigma (z^{[1]})(形状：(n,M))$

$第三步,对各个神经元的激活函数(z)结果进行线性代换$
$z^{[2]}=W^{[2]}{a}^{[1]}+b^{[2]}(形状：(1,M)=(1,n)\ast (n,M)+(1,M))$

$第四步，对汇总的线性代换进行\sigma (z)$
$a^{[2]}=\sigma (z^{[2]})(形状：(1,M))$

• 第一步的结果（n,M），一个样本占一列

输入的样本	M1	M2	M3	…	MM
神经元
a1	线性代换的结果
…
an

• 第二步的结果（n,M），一个样本占一列

输入的样本	M1	M2	M3	…	MM
神经元
a1	$\sigma (线性代换的结果)$
…
an

• 第三步的结果，一个样本占一格

输入的样本	M1	M2	M3	…	MM
各个神经元的$\sigma (z)$结果	$\sigma (z)$线性代换的结果

• 第四步的结果，一个样本占一格

输入的样本	M1	M2	M3	…	MM
$\sigma (z)$线性代换的结果	$\sigma (第三步线性代换)$线性代换的结果，最终的预测概率

激活函数的作用

就是非线性变换

为什么要有激活函数

线性变换1 根据权重数据化到各个神经元，
线性变换2 将各个神经元非线性化后的结果线加上偏置后，拟合（加）成一条线，最终根据这条线$\sigma (z)$进行预测
隐层中有n神经元，最终就是n条激活函数的线拟合

如果不加激活函数，那么神经元就仅仅做线性变换，以AlexNet为例，这个神经网络就会成为一个线性回归模型。而一个线性回归模型对于复杂非线性任务的处理能力是十分有限的。因此，我们需要添加非线性的激活函数，在神经网络的输入输出之间形成非线性映射，让网络能力更为强大。

仅线性变化得到的，拟合（加起来）效果不如激活函数得到的非线性线的拟合

反向传播