神经网络常见层速查表

神经网络常见层速查表

本文总结了深度学习中常见的“层 (Layer)”，包括简称、全称、使用场景和作用，便于快速学习。

---

🔹 1. 全连接层 (Fully Connected Layer)

• 简称：FC / Dense / Linear
• 全称：Fully Connected Layer
• PyTorch：nn.Linear(in_features, out_features)
• 使用场景：通用任务（分类、回归、MLP）
• 作用：输入和输出的每个节点都相连，适合通用函数拟合。

---

🔹 2. 卷积层 (Convolutional Layer)

• 简称：Conv
• 全称：Convolutional Layer
• PyTorch：nn.Conv1d, nn.Conv2d, nn.Conv3d
• 使用场景：图像、视频、语音
• 作用：用卷积核提取局部特征，权重共享，参数量少。

---

🔹 3. 池化层 (Pooling Layer)

• 简称：Pooling
• 全称：Pooling Layer
• PyTorch：nn.MaxPool2d, nn.AvgPool2d
• 使用场景：CNN 中常见
• 作用：缩小特征图尺寸，保留主要特征，降低计算量。

---

🔹 4. 循环层 (Recurrent Layer)

• 简称：RNN 系列
• 全称：Recurrent Neural Network Layer
• PyTorch：nn.RNN, nn.LSTM, nn.GRU
• 使用场景：文本、语音、时间序列预测
• 作用：处理序列数据，记忆历史信息。
  • RNN: 基础循环网络
  • LSTM: Long Short-Term Memory，解决长依赖问题
  • GRU: Gated Recurrent Unit，简化版 LSTM

---

🔹 5. 归一化层 (Normalization Layer)

• 简称：BN / LN / IN
• 全称：Batch Normalization / Layer Normalization / Instance Normalization
• PyTorch：nn.BatchNorm1d, nn.LayerNorm, nn.InstanceNorm2d
• 使用场景：各种深度学习模型
• 作用：稳定训练，加快收敛。

---

🔹 6. 正则化层 (Regularization Layer)

• 简称：Dropout
• 全称：Dropout Layer
• PyTorch：nn.Dropout(p=0.5)
• 使用场景：防止过拟合
• 作用：训练时随机“丢弃”部分神经元连接。

---

🔹 7. 注意力层 (Attention Layer)

• 简称：Attention
• 全称：Attention Layer / Multi-Head Attention
• PyTorch：nn.MultiheadAttention
• 使用场景：NLP，Transformer，LLM
• 作用：让模型选择性关注输入的重要部分。

---

🔹 8. 嵌入层 (Embedding Layer)

• 简称：Embedding
• 全称：Embedding Layer
• PyTorch：nn.Embedding(num_embeddings, embedding_dim)
• 使用场景：自然语言处理（词向量表示）
• 作用：将离散的类别（如单词 ID）映射为稠密向量。

---

🔹 9. 上采样层 (Upsampling Layer)

• 简称：Deconv / Transposed Conv
• 全称：Upsampling Layer / Deconvolution Layer
• PyTorch：nn.ConvTranspose2d, nn.Upsample
• 使用场景：生成模型（GAN）、图像分割 (U-Net)
• 作用：扩大特征图尺寸，重建细节信息。

---

📌 总结

类别	简称	全称	使用场景	作用
全连接层	FC	Fully Connected Layer	分类、回归	输入输出全连接
卷积层	Conv	Convolutional Layer	图像、语音	提取局部特征
池化层	Pooling	Pooling Layer	CNN	降维、提取主要特征
循环层	RNN/LSTM/GRU	Recurrent Neural Network Layer	序列数据	记忆历史信息
归一化层	BN/LN/IN	Batch/Layer/Instance Norm	通用	稳定训练
正则化层	Dropout	Dropout Layer	防过拟合	随机丢弃连接
注意力层	Attention	Attention Layer	NLP/Transformer	选择性关注
嵌入层	Embedding	Embedding Layer	NLP	类别转稠密向量
上采样层	Deconv	Deconvolution Layer	GAN/U-Net	放大特征图

---

✍️ 一句话记忆：

全连接最通用，卷积看图像，循环管时间，归一化保稳定，Dropout 防过拟合，注意力会聚焦，嵌入层懂语义，上采样能重建。