什么是 领域偏好学习（DPO）与多目标强化学习（PPO）
一、领域偏好学习（DPO）：让模型理解「用户想要什么」
定义：
领域偏好学习（Direct Preference Optimization，DPO）是一种直接利用人类偏好数据优化模型的方法，通过对比用户偏好的输出与非偏好的输出，调整模型参数，使其生成更符合人类需求的内容。它无需显式设计奖励函数，而是通过最小化偏好数据的损失来实现优化。
核心思想：
- 偏好数据驱动：直接使用用户的偏好排序或对比数据（如“更喜欢回复A而非回复B”），避免复杂的奖励函数设计。
- 离线学习：无需与环境实时交互，
