【实战】LLaMA-Factory 如何做 LLM 的多轮对话微调

写在前面

LLaMA-Factory 作为一个广受欢迎、易于使用的 LLM 微调框架，为开发者提供了便捷的途径来针对特定任务（包括多轮对话）优化模型。本文将深入探讨 LLaMA-Factory 如何支持多轮对话微调，涵盖其基本概念、数据准备、核心机制、评估方法等。

1. 多轮对话基本介绍

简单来说，多轮对话是指包含两个或更多轮次（Turn）的交互过程，其中每一轮通常包含用户的一个输入和模型的一个输出。与单轮问答不同，多轮对话具有以下关键特征：

• 上下文依赖 (Context Dependency): 后续轮次的回应通常依赖于前面轮次的对话内容。模型需要理解并记忆对话历史。
• 状态追踪 (State Tracking): 在某些场景（尤其是任务型对话）中，模型需要追踪对话的状态，例如用户已经提供了哪些信息、下一步需要什么信息。
• 意图演变 (Evolving Intent): 用户的意图可能在对话过程中逐渐明晰或发生变化。
• 连贯性与一致性 (Coherence & Consistency): 模型的回答需要在整个对话过程中保持逻辑连贯和事实一致。

挑战: 对于 LLM 来说，有