深度学习篇---模型权重变化与维度分析

---

---

前言

通过增加网络深度和引入高级技术，模型可以解决更复杂的问题（如图像分类、自然语言处理）。理解权重的动态变化和维度传递，是设计高效神经网络的关键。本文简单介绍了神经网络模型权重变化与维度分析的相关知识。

---

1. 权重的作用

在深度学习中，权重（Weight） 是神经网络的核心参数。每个神经元通过权重对输入数据进行加权求和，再经过激活函数输出结果。训练模型时，通过调整权重使得预测结果接近真实值，这一过程称为“学习”。

2. 权重的维度

权重的维度由网络层的结构决定：

全连接层

全连接层：若输入特征数为 m，输出特征数为 n，权重维度为 (n, m)。

卷积层

卷积层：若使用 k 个大小为 3x3 的卷积核，输入通道为 c，则权重维度为 (k, c, 3, 3)（PyTorch 格式）。

3. 权重的变化

通过反向传播计算损失函数的梯度，优化器（如 SGD）按学习率调整权重：

新权重 = 旧权重 - 学习率 × 梯度

4.实例代码（PyTorch 框架）

场景

场景：线性回归模型（y = 2x + 1 + 噪声）

python
import torch
import torch.nn as nn
import torch.optim as optim# 1. 定义模型
class LinearModel(nn.Module):def __init__(self):super().__init__()self.linear = nn.Linear(1, 1)  # 输入1维，输出1维def forward(self, x):return self.linear(x)model = LinearModel()# 2. 生成数据
x_train = torch.rand(100, 1) * 10          # 100个输入样本
y_train = 2 * x_train + 1 + torch.randn(x_train.shape)  # 真实值 + 噪声# 3. 设置损失函数和优化器
criterion = nn.MSELoss()                   # 均方误差损失
optimizer = optim.SGD(model.parameters(), lr=0.01)  # 学习率0.01# 4. 打印初始权重
print("初始权重：", model.linear.weight.data.item())
print("初始偏置：", model.linear.bias.data.item())# 5. 训练模型
epochs = 100
for epoch in range(epochs):# 前向传播outputs = model(x_train)loss = criterion(outputs, y_train)# 反向传播optimizer.zero_grad()  # 清空梯度loss.backward()        # 计算梯度optimizer.step()       # 更新权重# 每20次打印损失if (epoch+1) % 20 == 0:print(f'Epoch [{epoch+1}/{epochs}], Loss: {loss.item():.4f}')