当前位置：首页 > wzjs >正文

网站设计需要多少钱wordpress站群主机

wzjs 2025/8/31 6:39:46

网站设计需要多少钱,wordpress站群主机,创建个人百度百科,asp.net做登录注册网站一、正向传播正向传播（Forward Propagation）是神经网络中数据从输入层流向输出层的过程。输入数据通过各层的权重和激活函数逐层计算，最终得到预测输出。数学表示： 对于第 ( l ) 层的神经元，其输出计算如下&#xff1a…

一、

正向传播

正向传播（Forward Propagation）是神经网络中数据从输入层流向输出层的过程。输入数据通过各层的权重和激活函数逐层计算，最终得到预测输出。

数学表示：
对于第 ( l ) 层的神经元，其输出 $( a^{(l)} )$ 计算如下：
$[ z^{(l)} = W^{(l)} a^{(l-1)} + b^{(l)} ]$
$[ a^{(l)} = \sigma(z^{(l)}) ]$ 其中：

$( W^{(l)} )$ 为第 ( l ) 层的权重矩阵；
$( b^{(l)} )$ 为偏置项；
$( \sigma )$ 为激活函数（如 ReLU、Sigmoid）；
$( a^{(l-1)} )$ 为前一层输出（输入层 $( a^{(0)} = x )$ ）。

特点：

逐层计算，无反馈；
最终输出用于计算损失（如均方误差、交叉熵）。

反向传播

反向传播（Backward Propagation）通过链式法则计算损失函数对各层参数的梯度，用于优化权重和偏置。

数学表示：

输出层梯度：
计算损失 ( \mathcal{L} ) 对输出层输入的梯度 $( \delta^{(L)} )$ ：
$[ \delta^{(L)} = \nabla_a \mathcal{L} \odot \sigma'(z^{(L)}) ]$
其中 $( \odot )$ 为逐元素乘法。
隐藏层梯度：
第 ( l ) 层的梯度 $( \delta^{(l)} )$ 由后一层梯度反向传递：
$[ \delta^{(l)} = (W^{(l+1)})^T \delta^{(l+1)} \odot \sigma'(z^{(l)}) ]$
参数更新：
权重和偏置的梯度由梯度下降法更新：
$[ \frac{\partial \mathcal{L}}{\partial W^{(l)}} = \delta^{(l)} (a^{(l-1)})^T ]$
$[ \frac{\partial \mathcal{L}}{\partial b^{(l)}} = \delta^{(l)} ]$

特点：

依赖链式法则逐层回溯；
梯度下降优化器（如 SGD、Adam）利用梯度更新参数。

关键区别

特性	正向传播	反向传播
方向	输入层→输出层	输出层→输入层
目的	计算预测输出	计算参数梯度
依赖关系	无反馈	依赖正向传播的中间结果
计算复杂度	矩阵乘法	矩阵乘法与梯度链式求导