【自然语言处理与大模型】微调数据集如何构建

1、微调数据集如何构建？

        要准备一个真正专业、可以落地的微调数据集，绝不能只停留在简单的问答收集，而是要遵循一个完整的工程化流程。首先面对给定主题的私有文档，我们需要尽量挑选格式规范、内容专业的文档内容，然后需要对这些文档进行拆分，把长篇复杂的文本切分成一个个小主题的文档片段，然后再梳理这些文档片段之间的关系，必要的时候需要对文档片段进行补充和扩写，也就是所谓的文本增强。紧接着，在整理好了基础文本之后，我们需要对这些问题进行多样化的问题生成，基于同一知识点构造多维度提问，并整理回答内容，需要确保回答准确、自然，并且真正贴合专业语境。       

        构建微调数据集分为两个阶段：数据处理、数据验证与优化

（一）数据处理

        数据处理阶段我们需要先谨慎的选择原始文档，推荐优先选取权威性强、专业度高的资料。而不是随意从网络上抓取的零散文章。以医疗场景为例，像临床指南、医学教科书、专业期刊文章，往往比零散的问答社区的内容更适合作为数据集的底稿。

（二）数据验证与优化

        当然，数据集并不是一遍就能定型的。一个高质量的专业微调数据集，一定要经过多轮选代。比如，在实际进行微调前，可以让模型自主进行进行质量评估与筛选，淘汰掉不合格的样本。也可以结合专家意见进行修正，确保领域内的专业性和权威性。然后最好做好数据集的版本管理，一方面能够让每一次修改都能被追溯，另一方面，我们也可以建立微调效果与数据集之间的关系，便于之后持续打磨数据。

2、大模型微调数据集规模如何预估？

        这个问题没有放之四海而皆准的答案，但有一些行业共识。首先，如果只是做轻量级的指令微调，比如让模型掌握某个领域的基本表达风格和知识点，往往只需要几千到几万条高质量样本就能看到明显效果。其次，如果是大规模的通用能力提升，例如提升大模型的逻辑推理、代码编写等能力，数据规模通常需要达到几十万甚至上百万条，才能在 benchmark上拉开差距。此外，数据的质量比数量更重要。一万条经过精心清洗、带有专业审核的数据，往往比十万条混乱、噪声很大的数据更能带来更大的提升。一般综合考虑以下五方面因素：

（一）任务复杂度

（1）简单任务（<5K）

        客户支持自动化：处理特定公司的产品咨询。 虽然通用大模型可以理解自然语言并提供基本的回答，但它们缺乏对公司特定产品的深入了解。例如，一家电子产品公司可能会有独特的术语、保修政策和服务流程，这些都需要模型进行专门的学习。在这种情况下，使用公司内部的产品文档、FAQ页面以及历史客服对话记录来对模型进行微调，可以帮助模型更好地理解和响应客户的查询，提供更加准确和个性化的服务。

        对于处理特定公司的产品咨询这样的任务，可能需要1千到5千条高质量的对话记录进行微调。如果公司业务范围广泛或涉及多种语言，则可能需要更多的数据来覆盖不同的场景和语言变体。

（2）中等任务（5K-10K）

        法律合同审查：识别合同中的关键条款。 尽管大模型在自然语言处理方面表现出色，但在法律领域，精确性和准确性至关重要。通过微调一个预训练的语言模型，使其专注于识别和解释法律合同中的特定条款（如保密协议、责任限制等），可以大大提高其在该领域的表现。这不仅需要模型理解法律术语，还需要它能根据上下文正确地应用这些知识，而这通常需要专门的数据集来进行微调。

        针对法律领域的任务，例如识别合同中的关键条款，通常需要数千到数万条包含各种类型合同的标注数据。具体数量取决于条款种类的多样性和复杂度。例如，如果仅关注少数几种常见的条款，几千条数据可能就足够了；但如果要涵盖广泛的法律术语和复杂的合同结构，则可能需要3千到8千条甚至更多。

        医学诊断辅助：基于病历进行初步诊断建议。 在医疗领域，即使是相对简单的任务，比如从电子健康记录中提取症状信息以辅助医生做出诊断，也需要高度的专业知识。虽然通用大模型可以通过阅读大量文献获得一定的医学知识，但为了确保模型能够在临床环境中安全有效地使用，必须使用包含真实病例数据的专用数据集对其进行微调，从而提高其对特定病症的理解能力和诊断建议的准确性。

        在医学领域，为了确保模型能够准确理解和处理病历信息，可能需要至少1千到3千条详细的病例记录作为微调数据集。考虑到医疗数据的高度敏感性和专业性，这些数据还需要经过严格的匿名化处理，并且必须保证高度的质量和准确性。对于更复杂的诊断任务或者想要达到更高的精确度，可能需要5千到1万条以上的数据。

（3）复杂任务（>10K）

        如开放域问答或涉及复杂逻辑推理的任务，可能需要数十万甚至上百万条数据来确保模型能够学习到足够的模式和知识。

（二）模型参数量

（1）参数与数据的平衡

        虽然大型模型拥有大量的参数，但微调阶段并不总是需要海量的数据。实际上，过大的数据集可能导致过拟合或者引入噪声，影响模型性能。因此，找到一个适合特定任务的数据量与模型参数之间的平衡点至关重要。

（2）基于经验

        有时可以根据经验法则估算所需的数据量，比如某些研究指出微调数据集大小可能是模型参数量的10倍到100倍，但这并不是固定的规则，需根据具体情况调整。

（三）数据集质量

（1）高质量标注

        确保数据准确无误、标签一致且相关性高是提高模型性能的关键。少量高质量的数据往往比大量低质量的数据更有价值。

（2）数据多样性

        为了使模型具有良好的泛化能力，数据应尽可能覆盖各种可能的情况和表达方式，避免模型对特定模式产生过度依赖。

（四）期望性能

        期望模型对于该能力达到怎样的性能：明确你希望通过微调让模型实现的具体目标，例如精确率、召回率、F1分数等指标的目标值。若对模型的性能要求高，一般意味着更高质量的数据和更大规模的数据。

        性能评估方法：通过交叉验证、独立测试集等方式评估模型性能，并使用诸如学习曲线等工具确定是否达到了预期效果。

        ① 学习曲线：这是最直接有效的方法。

                1、从小规模数据集开始（如1k, 5k, 10k...）进行微调。

                2、在独立的验证集上评估每个模型的性能（如准确率、F1分数、BLEU等）。

                3、绘制“数据集大小”与“验证集性能”的关系曲线。

        观察曲线：

                1、如果曲线仍在快速上升，说明增加数据很可能带来显著提升。

                2、如果曲线趋于平缓，则继续增加数据的边际效益很低，此时应优先考虑提升数据质量或调整模型训练策略。

        ② 零样本或少样本性能对比： 在微调前，先测试大模型在目标任务上的零样本（Zero-shot）或少样本（Few-shot）能力。如果模型在少量示例下表现已经很好，那么微调所需的数据量可能相对较少。如果基础性能很差，则可能需要更多数据来微调模型。

（五）资源限制

（1）计算资源限制

        考虑到实际可获得的计算资源，包括GPU/TPU的数量和速度，这将直接影响你可以处理的数据量以及训练时间。

（2）数据资源获取难度

        考虑到获取高质量标注数据的成本和时间，有时候可能需要采用数据增强技术或其他策略来弥补数据不足的问题。同时也要注意遵守相关的法律法规，确保数据使用的合法性。

        通盘考虑这五个方面，基于经验粗略给出微调数据集的规模，再实际通过实验观察学习曲线根据模型性能随数据量增长的变化趋势来最终确定数据样本是否足够。换言之“足够”的数据集是指能让模型在验证集上达到你满意的性能，并且继续增加数据带来的性能提升已经很小的数据集规模。

3、工业环境下微调数据集应该如何创建?

        在实际工程中，微调数据集的创建几乎不可能只靠单一方式完成。最常见的做法是模型生成与人工审核结合。先通过大模型生成初稿，快速扩展问答对，再由人工或专家进行校对、筛选与修正。

4、强化学习微调需要如何准备数据集呢?

        强化学习微调的数据集会比较特殊，此时我们不再只需要“标准答案”，而是需要准备多个候选答案与对应的打分。具体来说，强化学习微调的数据集往往包括：同一提示下的多条候选回答，以及由人类或奖励模型给出的偏好排序（比如A比B好，B比C好）。只有这种数据才能驱动模型在训练中学会“更偏向人类偏好的输出”也就是我们常说的偏好对齐。