TRL的安装

TRL是一个全栈库，提供了一套工具，用于通过监督式微调SFT、组相对策略优化GRPO、直接偏好优化DPO、奖励建模等方法训练Transformer语言模型，该库已与Transformer集成。
它的安装如下所示：

1、pip 安装

uv pip install trl

2、源代码安装

首先clone仓库，然后使用pip 运行安装

git clone https://github.com/huggingface/trl.git
cd trl/
pip install -e .

如果你想进行开发安装，可以将 pip install 替换为以下命令

pip install -e ".[dev]"