第三章 模型评估与优化技巧

训练出能运行的模型只是起点，真正的挑战在于“判断模型是否好用”和“解决训练中的卡点”——比如新闻分类模型看似准确率达标，却对“财经”类新闻漏判严重；或训练时 loss 突然飙升至 NaN，模型完全无法收敛。本章将从“科学评估指标”和“针对性优化技巧”两大维度，拆解大模型开发中的核心痛点，让模型从“能跑通”升级为“泛化强、性能优”。

1 大模型性能评估：选对指标，识破“表面达标”陷阱

不同任务的“好模型”标准截然不同：文本分类需“分类准”，文本生成需“流畅且贴合需求”，机器翻译需“译文精准”。若用错评估指标，极易陷入“指标高但实际无用”的陷阱（比如用准确率评估生成模型，可能出现“输出重复短句刷分”的情况）。以下按“分类任务”“生成任务”两大场景，拆解核心评估指标的选择与使用。

1.1 分类任务：从“整体对”到“类别都对”

分类任务（如新闻分类、情感分析、垃圾邮件识别）的核心是“将样本归到正确类别”，但仅看“准确率”无法应对“类别不平衡”问题（比如数据中90%是“体育”新闻，模型全预测为“体育”，准确率也能达90%，但对“财经”“娱乐”类完全失效）。需通过“准确率、精确率、召回率、F1值”组合评估，全面判断模型性能。

（1）四大核心指标：基于混淆矩阵理解

先通过“新闻分类（体育/财经/娱乐）”的混淆矩阵，明确各指标的计算逻辑（混淆矩阵记录“真实标签”与“模型预测标签”的对应关系）：

真实标签预测标签	体育（预测）	财经（预测）	娱乐（预测）	真实总数
体育（真实）	180（TP）	15（FN1）	5（FN2）	200
财经（真实）	10（FP1）	170（TP）	20（FN3）	200
娱乐（真实）	8（FP2）	12（FP3）	180（TP）	200
预测总数	198	197	205	600（总样本）

• TP（True Positive）：真实标签与预测标签一致的样本（如真实“体育”被预测为“体育”）；
• FP（False Positive）：真实标签与预测标签不一致，且预测为当前类别的样本（如真实“财经”被预测为“体育”）；
• FN（False Negative）：真实标签与预测标签不一致，且真实为当前类别的样本（如真实“体育”被预测为“财经”）。

基于混淆矩阵，四大指标的计算公式如下：

• 准确率（Accuracy）：整体分类正确的比例，反映模型“全局正确性”
  公式：Accuracy = (所有类别TP之和) / 总样本数
  示例：(180+170+180)/600 ≈ 0.883（整体正确率88.3%）。
• 精确率（Precision）：预测为某类的样本中，真实为该类的比例，反映模型“预测该类的精准度”（避免“错判”）
  公式（以“体育”类为例）：Precision(体育) = TP(体育) / (TP(体育)+FP1+FP2)
  示例：180/(180+10+8) ≈ 0.878（预测为“体育”的样本中，87.8%是真实“体育”）。
• 召回率（Recall）：真实为某类的样本中，被正确预测为该类的比例，反映模型“捕捉该类的覆盖度”（避免“漏判”）
  公式（以“体育”类为例）：Recall(体育) = TP(体育) / (TP(体育)+FN1+FN2)
  示例：180/(180+15+5) = 0.9（真实“体育”样本中，90%被正确识别）。
• F1值（F1-Score）：精确率与召回率的调和平均数，平衡“精准度”与“覆盖度”，避免单一指标偏差
  公式：F1 = 2×(Precision×Recall)/(Precision+Recall)
  示例（体育类）：2×(0.878×0.9)/(0.878+0.9) ≈ 0.889。

（2）指标选择：按需匹配业务场景

• 优先看准确率：适用于“类别平衡”场景（如三类新闻各占30%左右），快速判断模型整体性能；
• 优先看精确率：适用于“错判代价高”场景（如垃圾邮件识别——将正常邮件判为垃圾邮件，会导致用户漏收重要信息，需高精确率）；
• 优先看召回率：适用于“漏判代价高”场景（如恶意评论识别——漏判恶意评论会引发舆情风险，需高召回率）；
• 必看F1值：适用于“类别不平衡”或“需平衡精准与覆盖”场景（如罕见病诊断——患者样本少，需同时避免“错判健康人”和“漏判患者”）。

（3）工具实战：用 Hugging Face Evaluate 一键计算

无需手动推导混淆矩阵，通过 evaluate 库可自动输出全量指标，示例代码（基于新闻分类任务）：

import evaluate  
import numpy as np  # 加载分类任务指标（支持准确率、精确率、召回率、F1）  
metric = evaluate.load("classification_metrics")  # 模拟模型输出：logits（模型原始输出）、labels（真实标签）  
logits = np.array([  [2.8, 0.5, 0.2],  # 样本1：预测体育（logits最大）  [0.3, 3.1, 0.1],  # 样本2：预测财经  [0.1, 0.2, 2.9],  # 样本3：预测娱乐  [2.5, 0.8, 0.3]   # 样本4：预测体育（真实为财经，FP）  
])  
labels = np.array([0, 1, 2, 1])  # 真实标签：0=体育，1=财经，2=娱乐  # 将logits转为预测类别（取最大值索引）  
predictions = np.argmax(logits, axis=1)  # 计算指标（average="weighted" 按类别样本数加权，适配类别不平衡）  
results = metric.compute(  predictions=predictions,    references=labels,    average="weighted",    metrics=["accuracy", "precision", "recall", "f1"])  print(results)  
# 输出：{'accuracy': 0.75, 'precision': 0.688, 'recall': 0.75, 'f1': 0.717}  
# 解读：整体准确率75%，但因样本4错判，精确率低于准确率，需优化  

1.2 生成任务：从“像参考”到“真好用”

生成任务（如机器翻译、文本摘要、对话生成）的核心是“输出文本的质量”，需从“与参考文本的相似度”“语言流畅度”“逻辑连贯性”三个维度评估。自动指标（BLEU、ROUGE、Perplexity）可快速量化性能，但需结合人工评估，避免“指标高但可读性差”（如生成“苹果苹果苹果”，与参考“我喜欢吃苹果”的BLEU值不低，但毫无意义）。

（1）BLEU：机器翻译的“相似度标尺”

BLEU（Bilingual Evaluation Understudy）通过计算“生成文本的n-gram（连续n个词）在参考文本中出现的比例”，评估生成文本的“准确性”，取值范围0~1（1表示与参考文本完全一致）。

• 核心逻辑：以“生成句子A：我喜欢吃苹果”和“参考句子B：我爱吃苹果”为例：

  1. 1-gram（单个词）匹配：A中的“我”“喜欢”“吃”“苹果”4个词，3个在B中出现（“喜欢”vs“爱”不匹配），1-gram精度=3/4；
  2. 2-gram（连续两词）匹配：A中的“我喜欢”“喜欢吃”“吃苹果”3个短语，仅“吃苹果”在B中出现，2-gram精度=1/3；
  3. 最终BLEU值：多阶n-gram精度的几何平均值，同时加入“短句惩罚”（避免生成过短句子刷分）。

• 工具实战：用 evaluate 库计算机器翻译BLEU值：

  from evaluate import load  # 加载BLEU指标  
  bleu = load("bleu")  # 生成文本（hypotheses）与参考文本（references，1个生成文本可对应多个参考）  
  hypotheses = ["我喜欢吃苹果", "今天天气很好"]  # 模型生成的中文句子  
  references = [  ["我爱吃苹果", "我喜欢吃苹果"],  # 第一个生成文本的参考  ["今日天气晴朗", "今天天气不错"]   # 第二个生成文本的参考  
  ]  # 计算BLEU（max_order=2 表示计算1-gram和2-gram）  
  results = bleu.compute(predictions=hypotheses, references=references, max_order=2)  
  print(f"BLEU值：{results['bleu']:.3f}")  # 输出：BLEU值：0.725（与参考文本高度相似）  
  

  （2）ROUGE：文本摘要的“覆盖度标尺”

  ROUGE（Recall-Oriented Understudy for Gisting Evaluation）与BLEU互补，更关注“参考文本的n-gram被生成文本覆盖的比例”，适合摘要生成（摘要需覆盖原文核心信息，而非完全复制）。

• 常用类型：

  • ROUGE-1：基于1-gram的召回率，衡量“单个词的覆盖度”；
  • ROUGE-2：基于2-gram的召回率，衡量“短语的覆盖度”；
  • ROUGE-L：基于“最长公共子序列（LCS）”的召回率，捕捉句子级逻辑关联（如“苹果我喜欢吃”与“我喜欢吃苹果”的LCS是“我喜欢吃苹果”，ROUGE-L召回率=1）。

• 工具实战：用 evaluate 库计算摘要ROUGE值：

  from evaluate import load  # 加载ROUGE指标  
  rouge = load("rouge")  # 生成摘要（hypothesis）与参考摘要（reference）  
  hypothesis = "国足3-0击败越南，取得世预赛首胜"  # 模型生成的摘要  
  reference = "中国国家男子足球队在世界杯预选赛亚洲区比赛中3-0战胜越南队，获得本届赛事首场胜利"  # 原文摘要  # 计算ROUGE（use_stemmer=True 统一词形，如“击败”“战胜”视为相似）  
  results = rouge.compute(  predictions=[hypothesis],      references=[reference],   use_stemmer=True  
  )  
  print(f"ROUGE-1：{results['rouge1']:.3f}")  # 输出：ROUGE-1：0.625（1-gram覆盖度62.5%）  
  print(f"ROUGE-L：{results['rougeL']:.3f}")  # 输出：ROUGE-L：0.583（长句逻辑覆盖度58.3%）  
  

  （3）Perplexity：语言流畅度的“直观标尺”

  Perplexity（困惑度）从“模型预测下一个词的难度”角度，评估生成文本的“流畅度”，取值范围≥1（值越小，模型对语言的掌握越好，生成文本越流畅）。

• 核心逻辑：困惑度是“模型对文本序列概率倒数的几何平均值”——若模型能准确预测下一个词（如“我喜欢吃_”预测“苹果”的概率=0.8），困惑度低；若预测错误（如预测“石头”的概率=0.001），困惑度高。

• 工具实战：用PyTorch计算文本困惑度（基于带LM头的BERT模型）：

  import torch  
  from transformers import BertTokenizer, BertLMHeadModel  
  # 加载预训练语言模型（带语言建模头，用于预测下一个词）  
  device = torch.device("cuda" if torch.cuda.is_available() else "cpu")  
  tokenizer = BertTokenizer.from_pretrained("bert-base-chinese")  model = BertLMHeadModel.from_pretrained("bert-base-chinese").to(device)  
  def calculate_perplexity(text):      """计算文本的困惑度"""  model.eval()  # 模型设为评估模式  
  # 编码文本（添加[CLS]和[SEP]，返回PyTorch张量）  inputs = tokenizer(  text,          return_tensors="pt",   padding=True,   truncation=True  ).to(device)      labels = inputs["input_ids"].clone()  # 标签与输入一致（语言模型预测下一个词）  with torch.no_grad():  # 关闭梯度计算，节省显存  outputs = model(**inputs, labels=labels)  loss = outputs.loss  # 交叉熵损失  # 困惑度 = exp(平均损失)  perplexity = torch.exp(loss).item()      return perplexity  
  # 测试：流畅文本 vs 不流畅文本  
  print(f"流畅文本困惑度：{calculate_perplexity('我喜欢吃苹果'):.1f}")  # 输出：约50（流畅）  
  print(f"不流畅文本困惑度：{calculate_perplexity('苹果吃喜欢我'):.1f}")  # 输出：约500（不流畅）  
  

  （4）人工评估：补全自动指标的“盲区”

  自动指标无法判断“逻辑连贯性”和“实用性”（如生成“今天天气很好，苹果是红色的”，BLEU值可能不低，但逻辑断裂）。需通过人工评估补全，核心维度如下（以对话生成为例）：

评估维度	评估标准	评分方式（1~5分）
相关性	回答是否贴合用户问题	5分：完全贴合；3分：部分贴合；1分：完全无关
流畅度	语句是否通顺、无语法错误	5分：流畅自然；3分：偶有语病；1分：难以理解
逻辑性	是否符合常识、无自相矛盾	5分：逻辑严谨；3分：轻微矛盾；1分：完全不合逻辑
安全性	是否无暴力、歧视、虚假信息	5分：绝对安全；3分：边缘信息；1分：有害信息

建议选取100_{200个代表性样本（覆盖不同场景、难度），由2}3名标注员独立评分，最终取平均值，避免个人主观偏差。

2 大模型训练核心问题与优化技巧

训练大模型时，常遇到“模型性能上不去”（如过拟合、欠拟合）和“训练过程不稳定”（如梯度消失、梯度爆炸）两类问题。这些问题并非“无法解决”，只要针对性使用“数据增强、正则化、学习率调整”等技巧，就能有效缓解。

2.1 过拟合：模型“死记硬背”，不会“举一反三”

过拟合是最常见的问题：模型在训练集上表现极好（如准确率95%），但在验证集上表现差（如准确率70%），本质是“模型记住了训练数据的细节，却没学会通用规律”（如新闻分类模型记住“含‘国足’的是体育新闻”，但遇到“含‘CBA’的体育新闻就无法识别”）。

（1）过拟合的判断方法

通过“训练集与验证集的指标差距”和“训练曲线”双重判断：

• 指标差距：训练集准确率95%，验证集准确率70%（差距＞20%，严重过拟合）；
• 训练曲线：训练集loss持续下降、准确率持续上升，但验证集loss先降后升、准确率先升后降（出现“拐点”即过拟合）。

（2）5个核心优化技巧

① 增加训练数据：让模型 “见多识广”

过拟合的根本原因是 “训练数据不足，模型没学全规律”，最有效的方法是扩充数据量：

• 数据增强：对文本进行 “同义替换”“语序调整”“添加合理噪声”，不改变语义但增加多样性。例如新闻分类任务中：

import nlpaug.augmenter.word as naw# 初始化同义替换增强器（基于词向量）aug = naw.SynonymAug(aug_src='wordnet', lang='zh')# 增强文本original_text = "国足3-0击败越南，取得世预赛首胜"augmented_text = aug.augment(original_text)print("原始文本：", original_text)print("增强文本：", augmented_text)  # 输出："国足3-0战胜越南，获得世预赛首场胜利"

• 同义替换：用同义词替换部分词汇（“国足 3-0 击败越南”→“国足 3-0 战胜越南”）；

• 语序调整：调整句子语序（“央行下调存款准备金率”→“存款准备金率被央行下调”）；

• 添加噪声：在文本中加入轻微冗余信息（“某电影票房破 5 亿”→“某电影上映 3 天，票房成功突破 5 亿”）。

  可通过 nlpaug 库快速实现文本增强，示例代码：

• 数据采样：若某类样本过少（如财经新闻仅占 10%），可通过 “过采样”（重复少量类样本）或 “欠采样”（减少多数类样本）平衡类别分布，但需注意过采样可能导致局部过拟合，建议搭配数据增强使用。

② 正则化：给模型 “加约束”，避免 “死记硬背”

正则化通过在训练中添加 “惩罚项”，限制模型参数过大，避免模型过度拟合训练数据细节，常用方法有两种：

• L2 正则化（权重衰减）：在损失函数中加入 “参数平方和” 的惩罚项，迫使模型参数趋向于小值，减少复杂特征的依赖。PyTorch 中可通过优化器直接设置 weight_decay 参数，示例：

from torch.optim import AdamW# 优化器中加入L2正则化（weight_decay=0.01为常用值）optimizer = AdamW(model.parameters(), lr=2e-5, weight_decay=0.01)

• Dropout 层：在模型训练时随机 “关闭” 部分神经元（如关闭 30% 的注意力头或全连接层神经元），迫使模型学习更鲁棒的特征，避免过度依赖某一神经元。在 Transformer 模型中，可在分类头或编码器层加入 Dropout，示例：

import torch.nn as nn# 自定义分类头，加入Dropout层class CustomClassifier(nn.Module):def __init__(self, input_dim, num_classes):super().__init__()self.fc1 = nn.Linear(input_dim, 512)self.dropout = nn.Dropout(p=0.3)  # 30%的神经元随机关闭self.fc2 = nn.Linear(512, num_classes)def forward(self, x):x = self.fc1(x)x = self.dropout(x)  # 训练时生效，评估时自动关闭x = self.fc2(x)return x

③ 调整模型结构：用 “更简单” 的模型，降低复杂度

模型过于复杂（如千亿参数模型用于简单文本分类）是过拟合的重要原因，可通过 “轻量化模型” 或 “模型剪枝” 降低复杂度：

• 选择轻量模型：用小参数模型替代大模型，如用 bert-base-chinese（110M 参数）替代 bert-large-chinese（340M 参数），或使用专门的轻量模型（如 DistilBERT、MobileBERT），这些模型通过蒸馏或结构优化，在减少参数的同时保留 80% 以上的性能；

• 模型剪枝：删除模型中 “冗余” 的参数或结构，如剪枝 Transformer 中贡献度低的注意力头（保留 6 个核心头，删除 6 个冗余头），或剪枝全连接层中接近 0 的权重，示例：

# 简单注意力头剪枝（保留前6个注意力头）def prune_attention_heads(model, num_heads_to_keep=6):for name, module in model.named_modules():if "multihead_attention" in name:# 保留前num_heads_to_keep个注意力头的权重module.out_proj.weight.data = module.out_proj.weight.data[:, :num_heads_to_keep*module.head_dim]module.in_proj_weight.data = module.in_proj_weight.data[:num_heads_to_keep*module.head_dim, :]return model# 对BERT模型进行注意力头剪枝pruned_model = prune_attention_heads(model, num_heads_to_keep=6)

④ 优化训练策略：控制 “学习节奏”，避免 “学过头”

不合理的训练策略（如学习率过高、训练轮数过多）会加剧过拟合，可通过以下调整优化：

• 降低学习率：过高的学习率会导致模型参数震荡，难以收敛到最优解，反而容易记住训练数据噪声，建议将学习率从 2e-5 降至 1e-5，或使用 “余弦退火调度器” 动态降低学习率，示例：

from torch.optim.lr_scheduler import CosineAnnealingLR# 余弦退火调度器（学习率随训练轮数余弦下降）scheduler = CosineAnnealingLR(optimizer, T_max=10, eta_min=1e-6)

• 减少训练轮数：训练轮数过多会导致模型 “过度学习” 训练数据细节，当验证集 loss 连续 3 轮上升时，即可停止训练（后续会讲 “早停机制”）。

⑤ 早停机制：及时 “刹车”，避免 “过拟合恶化”

早停机制是防止过拟合的 “最后一道防线”：在训练过程中持续监控验证集指标（如 loss 或 F1 值），当指标连续多轮（如 3 轮）未提升甚至下降时，自动停止训练，并加载验证集表现最好的模型参数，示例代码：

class EarlyStopping:def __init__(self, patience=3, verbose=False, path="best_model.pth"):self.patience = patience  # 连续多少轮指标无提升则停止self.verbose = verbose    # 是否打印日志self.counter = 0          # 计数器self.best_score = None    # 最佳指标得分self.early_stop = False   # 是否早停self.val_loss_min = float('inf')  # 最佳验证集lossself.path = path          # 最佳模型保存路径def __call__(self, val_loss, model):score = -val_loss  # 以loss为例，score越小表示loss越大if self.best_score is None:self.best_score = scoreself.save_checkpoint(val_loss, model)elif score < self.best_score:self.counter += 1if self.verbose:print(f"早停计数器: {self.counter}/{self.patience}")if self.counter >= self.patience:self.early_stop = Trueelse:self.best_score = scoreself.save_checkpoint(val_loss, model)self.counter = 0def save_checkpoint(self, val_loss, model):"""保存验证集loss最小的模型"""if self.verbose:print(f"验证集loss下降 ({self.val_loss_min:.6f} → {val_loss:.6f})，保存模型...")torch.save(model.state_dict(), self.path)self.val_loss_min = val_loss# 初始化早停机制early_stopping = EarlyStopping(patience=3, verbose=True)# 训练循环中使用早停for epoch in range(num_epochs):# 训练步骤（省略）train_loss = train_one_epoch(model, train_dataloader, optimizer, device)# 验证步骤（省略）val_loss = evaluate_model(model, val_dataloader, device)# 调用早停机制early_stopping(val_loss, model)if early_stopping.early_stop:print("早停触发，停止训练")break# 加载最佳模型model.load_state_dict(torch.load("best_model.pth"))

2.2 欠拟合：模型 “学不会”，规律没掌握

欠拟合与过拟合相反：模型在训练集和验证集上表现都差（如准确率均低于 60%），本质是 “模型复杂度不足，无法学习到数据中的核心规律”（如用简单的线性模型处理复杂的新闻分类任务，无法捕捉文本语义关联）。

（1）欠拟合的判断方法

• 指标表现：训练集准确率低（如 55%），验证集准确率与训练集接近（如 53%），无明显差距；

• 训练曲线：训练集 loss 下降缓慢，甚至停滞在较高值，准确率也无法提升。

（2）3 个核心优化技巧

① 提升模型复杂度：让模型 “有能力学”

• 换用更复杂模型：如用 Transformer 模型替代 CNN 或 RNN 模型，或增加模型层数（如将 BERT 的 12 层编码器增加到 24 层）、扩大注意力头数（如从 12 头增加到 24 头），提升模型的特征提取能力；

• 增加隐藏层维度：扩大 Transformer 的 d_model（如从 768 维增加到 1024 维）或全连接层的隐藏单元数（如从 512 增加到 1024），让模型能存储更多语义信息。

② 增加训练轮数与学习率：让模型 “学得够”

• 延长训练时间：欠拟合时模型尚未充分学习到规律，可适当增加训练轮数（如从 3 轮增加到 10 轮），观察训练集 loss 是否持续下降；

• 提高学习率：过低的学习率会导致模型参数更新缓慢，无法快速收敛，可将学习率从 1e-5 提升到 3e-5，加速参数调整。

③ 简化数据预处理：别 “过滤掉关键信息”

过度的数据预处理会导致 “关键特征丢失”，加剧欠拟合：

• 避免过度去噪：如文本分类任务中，不要删除 “专业术语”（如 “CBA”“存款准备金率”），这些是区分类别的关键特征；

• 减少文本截断：若将文本最大长度从 128 字符缩短到 32 字符，可能会截断关键语义（如新闻摘要的核心信息），建议根据任务调整合理的最大长度（如新闻分类设为 256 字符）。

2.3 梯度消失与梯度爆炸：训练过程 “失控”

训练大模型（尤其是深层 Transformer）时，常出现 “梯度消失”（梯度值趋近于 0，参数无法更新）或 “梯度爆炸”（梯度值骤增，参数剧烈震荡，loss 飙升至 NaN），本质是 “深层网络中梯度传播时的累积效应”。

（1）问题判断方法

• 梯度消失：训练过程中 loss 下降缓慢，甚至停滞，模型参数更新幅度极小（如参数变化量＜1e-8）；

• 梯度爆炸：训练初期 loss 突然飙升至 NaN 或无穷大，模型输出完全混乱（如分类任务中所有样本预测为同一类别）。

（2）4 个核心解决技巧

① 梯度裁剪：给梯度 “设上限”，避免 “爆炸”

梯度裁剪通过限制梯度的 “最大范数”，防止梯度值过大导致参数震荡，是解决梯度爆炸的最常用方法，示例代码：

import torch.nn.utils as utils# 训练循环中，反向传播后进行梯度裁剪for batch in train_dataloader:# 前向传播outputs = model(**batch)loss = outputs.loss# 反向传播optimizer.zero_grad()loss.backward()# 梯度裁剪（最大范数设为1.0，常用值为0.5~2.0）utils.clip_grad_norm_(model.parameters(), max_norm=1.0)# 参数更新optimizer.step()scheduler.step()

② 使用残差连接：让梯度 “顺畅传播”

Transformer 和 ResNet 中都引入了 “残差连接”，通过将 “输入直接加到输出”，避免梯度在深层网络中逐渐衰减：

• Transformer 的编码器层中，多头自注意力层和位置前馈网络的输出都会加上 “原始输入”（即残差连接），再进行层归一化，公式为：output = LayerNorm(input + SubLayer(input))；

• 自定义模型时，务必保留残差连接，不要随意删除，否则极易出现梯度消失。

③ 选择合适的激活函数：避免 “梯度衰减”

传统激活函数（如 sigmoid、tanh）在输入值较大或较小时，导数趋近于 0，易导致梯度消失，大模型中建议使用 “ReLU” 或其变体：

• ReLU 激活函数：f(x) = max(0, x)，在 x＞0 时导数为 1，梯度可正常传播，避免梯度消失；

• GELU 激活函数：Transformer 中常用的激活函数（如 BERT、GPT），f(x) = x·Φ(x)（Φ 为高斯分布的累积分布函数），兼具 ReLU 的非线性和光滑性，梯度传播更稳定。

④ 初始化参数：让梯度 “从合理值开始”

不当的参数初始化会导致 “初始梯度过大或过小”，加剧梯度问题：

• 使用预训练权重：直接加载 Hugging Face 的预训练模型权重（如bert-base-chinese），这些权重经过优化，梯度传播更稳定，避免从零随机初始化；

• Xavier/He 初始化：若需自定义层（如分类头），可使用 Xavier 初始化（适用于线性层）或 He 初始化（适用于 ReLU 激活的层），示例：

# 自定义线性层，使用Xavier初始化class CustomLinear(nn.Module):def __init__(self, in_dim, out_dim):super().__init__()self.linear = nn.Linear(in_dim, out_dim)# Xavier初始化nn.init.xavier_uniform_(self.linear.weight)nn.init.zeros_(self.linear.bias)def forward(self, x):return self.linear(x)

3 小结：评估与优化是模型 “迭代升级的关键”

大模型的开发不是 “一训了之”，而是 “评估 - 发现问题 - 优化 - 再评估” 的循环过程：通过科学的指标（如分类任务的 F1 值、生成任务的 BLEU 值）精准定位模型缺陷，再针对性使用 “数据增强、正则化、梯度裁剪” 等技巧，解决过拟合、欠拟合、梯度失控等问题。

需要注意的是，优化技巧并非 “越多越好”：例如同时使用数据增强、Dropout 和 L2 正则化，可能导致模型 “过度约束”，反而出现欠拟合；梯度裁剪的最大范数设得过小，会导致梯度更新不足。实际开发中，建议 “先定位核心问题，再逐个尝试优化方法”，并通过验证集指标判断效果，最终找到适合当前任务的最优方案。