【大模型】大模型微调-RLHF(强化学习)

上篇介绍了PEFT(LORA)参数微调，这篇介绍RLHF(基于人类反馈的强化学习)

RLHF

1. 背景与目标

大模型（如 GPT、LLaMA 等）在 预训练阶段 学到的是 预测下一个 token 的能力，但：

它生成的回答可能 不符合人类偏好（冗长、跑题、有害内容）。

单纯监督微调（SFT）只能让模型模仿数据，缺乏对“质量/偏好”的优化。

因此，需要一种方法让模型输出 更符合人类期望 —— 这就是 RLHF。

2. RLHF 的三大核心阶段
   (1) 监督微调（Supervised Fine-Tuning, SFT）

数据：人工编写的 高质量问答对。

方法：用这些数据 微调预训练模型。

结果：得到一个初步的 “对齐模型”，它能回答问题，但还不一定稳定。

(2) 奖励模型（Reward Model, RM）训练

数据：人工对 多个模型输出 进行 排序/偏好标注，如：

Prompt: "解释相对论"
答案 A: 很简洁，科学准确
答案 B: 冗长且啰嗦
→ 人类选择 A