PyTorch 容器类详解：nn.Sequential、nn.ModuleList 与 nn.ModuleDict

在 PyTorch 的torch.nn模块中，除了基础的网络层（如nn.Conv2d、nn.Linear），还提供了一系列容器类，用于灵活组织和管理多个网络层。这些容器类让我们能够更便捷地构建复杂的神经网络结构。深入了解nn.Sequential、nn.ModuleList和nn.ModuleDict这三个常用的容器类。

一、nn.Sequential：按顺序封装网络层

nn.Sequential是最常用的容器类之一，它的核心作用是按顺序封装多个网络层，使得数据能够按照层的顺序依次前向传播。

1. 基本用法

当我们需要构建一个简单的、按顺序执行的网络结构时，nn.Sequential非常实用。例如，构建一个简单的多层感知机（MLP）：

import torch
import torch.nn as nn# 定义一个包含线性层、激活函数、 dropout层的 Sequential
mlp = nn.Sequential(nn.Linear(784, 256),  # 输入维度784，输出维度256nn.ReLU(),  # ReLU激活函数nn.Dropout(0.5),  # dropout层，丢弃概率0.5nn.Linear(256, 10)  # 输出维度10，用于10分类任务
)# 模拟输入数据，batch_size为32，输入维度784
x = torch.randn(32, 784)
# 前向传播，数据会依次经过Sequential中的每一层
output = mlp(x)
print(output.shape)  # 输出：torch.Size([32, 10])

2. 特点与优势

• 顺序执行：数据严格按照nn.Sequential中定义的层的顺序进行前向传播，逻辑清晰。
• 简洁性：对于简单的顺序结构，使用nn.Sequential比自定义nn.Module子类更加简洁，无需编写forward方法。
• 可索引访问：可以通过索引来访问其中的每一层，例如mlp[0]表示获取第一个nn.Linear层。

3. 局限性

nn.Sequential中的层之间是严格的顺序关系，且每一层的输入必须是前一层的输出，无法实现分支、跳跃连接等复杂结构。

二、nn.ModuleList：像 Python 列表一样管理网络层

nn.ModuleList的作用是像 Python 的 list 一样封装多个网络层，它主要用于动态创建或管理一组网络层。

1. 基本用法

当我们需要根据某些条件动态生成多个网络层，或者需要对一组网络层进行统一操作时，nn.ModuleList非常有用。例如，构建一个包含多个卷积层的特征提取器，卷积层的数量可动态指定：

class DynamicConvExtractor(nn.Module):def __init__(self, in_channels, out_channels_list):super(DynamicConvExtractor, self).__init__()# 用ModuleList封装多个卷积层self.conv_layers = nn.ModuleList()prev_channels = in_channelsfor out_channels in out_channels_list:self.conv_layers.append(nn.Conv2d(prev_channels, out_channels, kernel_size=3, padding=1))self.conv_layers.append(nn.ReLU())prev_channels = out_channelsdef forward(self, x):for layer in self.conv_layers:x = layer(x)return x# 示例：输入通道3，输出通道依次为16、32
extractor = DynamicConvExtractor(3, [16, 32])
x = torch.randn(32, 3, 64, 64)
output = extractor(x)
print(output.shape)  # 输出：torch.Size([32, 32, 64, 64])

2. 特点与优势

• 动态性：可以根据需求动态添加、删除网络层，非常灵活。
• 类似列表操作：支持像 Python list 一样的索引、切片等操作，例如conv_layers[0]获取第一个卷积层。
• 参数管理：nn.ModuleList中的层会被自动注册到父模块中，其参数会被纳入整个模型的参数管理，参与优化。

3. 注意事项

nn.ModuleList只是一个层的容器，它本身没有forward方法，需要在自定义模块的forward方法中手动遍历执行其中的层。

三、nn.ModuleDict：像 Python 字典一样管理网络层

nn.ModuleDict的作用是像 Python 的 dict 一样封装多个网络层，可以通过键（key）来访问对应的网络层。

1. 基本用法

当我们需要为不同的网络层指定名称，或者需要根据键来动态选择网络层时，nn.ModuleDict很有帮助。例如，构建一个包含多个分支的网络，每个分支对应不同的处理逻辑：

class MultiBranchNetwork(nn.Module):def __init__(self):super(MultiBranchNetwork, self).__init__()# 用ModuleDict封装多个分支self.branches = nn.ModuleDict({'conv_branch': nn.Sequential(nn.Conv2d(3, 16, kernel_size=3),nn.ReLU()),'fc_branch': nn.Sequential(nn.Linear(3 * 32 * 32, 128),nn.ReLU())})self.fusion = nn.Linear(16 * 30 * 30 + 128, 10)  # 融合层def forward(self, x_conv, x_fc):# 通过键获取对应的分支conv_output = self.branches['conv_branch'](x_conv)fc_output = self.branches['fc_branch'](x_fc.view(x_fc.size(0), -1))# 融合两个分支的输出combined = torch.cat([conv_output.view(conv_output.size(0), -1), fc_output], dim=1)return self.fusion(combined)# 模拟输入
x_conv = torch.randn(32, 3, 32, 32)
x_fc = torch.randn(32, 3, 32, 32)
network = MultiBranchNetwork()
output = network(x_conv, x_fc)
print(output.shape)  # 输出：torch.Size([32, 10])

2. 特点与优势

• 键值对管理：通过键来组织和访问网络层，语义更明确，便于代码维护。
• 动态选择：可以根据不同的条件或输入，动态选择使用哪个网络层分支。
• 参数管理：同样，nn.ModuleDict中的层会被自动注册到父模块，参数参与模型优化。

3. 注意事项

和nn.ModuleList类似，nn.ModuleDict本身也没有forward方法，需要在自定义模块中手动控制层的执行逻辑。

四、三者对比与适用场景总结

容器类	核心特点	适用场景
nn.Sequential	顺序执行多个层	简单的、线性的网络结构，层与层之间是严格的顺序依赖关系。
nn.ModuleList	类似 list 管理层	需要动态创建、管理一组网络层，或对多个层进行统一操作（如共享参数的层组）。
nn.ModuleDict	类似 dict 管理层（键值对）	需要为层命名，或根据键动态选择不同的层分支。

在实际的模型构建中，我们可以根据网络结构的复杂度和灵活性需求，选择合适的容器类，甚至将它们结合起来使用，以构建出强大且灵活的神经网络模型。