当前位置：首页 > news >正文

常见神经网络

news 2025/10/24 11:19:03

前馈神经网络（Feedforward Neural Network, FFN）的定义前馈神经网络是人工神经网络的一种基本形式，其结构特点是：

层级结构：由输入层、一个或多个隐藏层、输出层组成
- 单向数据流：信息仅沿一个方向流动（输入→隐藏→输出），不存在循环或反馈连接
- 神经元模型：每层由多个神经元组成，每个神经元通过激活函数处理输入信号
- 权重连接：相邻层神经元之间通过权重连接传递信号

MLP（多层感知机）与FFN的关系

MLP（Multilayer Perceptron）属于FFN的一种特殊形式，二者的主要区别和联系如下：

比较维度	前馈神经网络（FFN）	多层感知机（MLP）
定义	泛指所有单向信息流的神经网络	特指包含至少一个隐藏层且使用非线性激活函数的FFN
隐藏层	可以没有隐藏层（如单层感知机）	必须包含至少一个隐藏层
激活函数	可以使用线性或非线性激活函数	必须使用非线性激活函数（如ReLU、Sigmoid）
表达能力	无隐藏层时只能表示线性函数	可以近似任意非线性函数（万能近似定理）

为什么容易混淆？

历史原因：早期神经网络研究中，MLP是最早被广泛研究的前馈网络架构，导致很多文献中将FFN和MLP混用
实际应用：现代深度学习中，几乎所有前馈网络都采用多层结构和非线性激活函数，因此MLP成为FFN的主流实现形式
术语使用：某些框架（如PyTorch）的文档中，FFN有时作为MLP的同义词使用

代码示例对比

1. 简单前馈网络（可能不含隐藏层）

class SimpleFFN(nn.Module): def __init__(self, input_size, output_size):super(SimpleFFN, self).__init__() self.linear = nn.Linear(input_size, output_size) # 单层线性变换 def forward(self, x): return self.linear(x)

2. 典型MLP（多层+非线性激活）

class MLP(nn.Module): def __init__(self, input_size, hidden_size, output_size):super(MLP, self).__init__() self.layer1 = nn.Linear(input_size, hidden_size) self.relu = nn.ReLU() # 非线性激活函数 self.layer2 = nn.Linear(hidden_size, output_size) def forward(self, x): x = self.layer1(x)x = self.relu(x)x = self.layer2(x) return x