CrowS-Pairs：衡量掩码语言模型中社会偏见的挑战数据集

本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！

1 什么是CrowS-Pairs？

CrowS-Pairs是一个专门设计用于评估掩码语言模型（MLM）中社会偏见的基准测试数据集，由Nikita Nangia、Clara Vania、Rasika Bhalerao和Samuel R. Bowman于2020年提出。这个基准测试包含1,508个句子对，覆盖九种社会偏见类型，旨在测量模型在生成或理解文本时是否依赖于社会刻板印象和偏见。

🤖 掩码语言模型（如BERT、RoBERTa等）在训练过程中吸收了海量的人类文本数据，这些数据中不可避免地包含了许多人类社会固有的社会刻板印象和偏见。因此，模型可能会学习并重复这些偏见，而不是生成公平和中立的文本。CrowS-Pairs数据集的设计就是为了揭示和量化这些模型中存在的社会偏见。

本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！

往期文章推荐:

• 20.Pairwise排序损失：让机器学会排序的艺术
• 19.Winogender：衡量NLP模型性别偏见的基准数据集
• 18.Dropout：深度学习中的随机丢弃正则化技术
• 17.TruthfulQA：衡量语言模型真实性的基准
• 16.残差：从统计学到深度学习的核心概念
• 15.集值优化问题：理论、应用与前沿进展
• 14.大语言模型强化学习中的熵崩溃现象：机制、影响与解决方案
• 13.线性预热机制（Linear Warmup）：深度学习训练稳定性的关键策略
• 12.蚁群算法详解：从蚂蚁觅食到优化利器
• 11.粒子群优化（PSO）算法详解：从鸟群行为到强大优化工具
• 10.NSGA-II多目标优化算法：原理、应用与实现
• 9.SPEA2多目标进化算法：理论与应用全解析
• 8.NSGA系列多目标优化算法：从理论到实践
• 7.Adam优化算法：深度学习的自适应动量估计方法
• 6.VeRL：强化学习与大模型训练的高效融合框架
• 5.BBEH：大模型高阶推理能力的“超难”试金石
• 4.MGSM：大模型多语言数学推理的“试金石”
• 3.灾难性遗忘：神经网络持续学习的核心挑战与解决方案
• 2.内存墙：计算性能的隐形枷锁与突破之路
• 1.阿喀琉斯之踵：从神话传说到现代隐喻的致命弱点

2 为什么需要CrowS-Pairs？

随着自然语言处理技术的飞速发展和广泛应用，人们越来越关注这些系统中可能存在的公平性问题。语言模型在训练过程中吸收了海量的人类文本数据，这些数据中不可避免地包含了许多人类社会固有的社会刻板印象和偏见。例如，在训练数据中，某些职业可能更常与特定性别或种族相关联，某些宗教群体可能被与特定行为模式相关联。

这种偏见会导致模型在实际应用中产生不公平或歧视性的预测结果。例如，在文本生成任务中，模型可能会基于社会刻板印象而不是文本的实际内容进行预测。这种偏见不仅影响模型的性能，还可能强化有害的社会刻板印象，特别是在这些模型被部署在招聘、推荐系统等影响人们生活的应用中时。

CrowS-Pairs的创建者发现，尽管模型在标准数据集上表现优异，但它们在这些数据集上的高性能可能掩盖了其依赖偏见进行判断的问题。标准数据集可能没有足够多的样本测试模型对社会偏见的敏感性，或者数据分布本身可能包含了与训练数据相似的偏见。因此，需要专门设计的对抗性数据集来揭示模型中的社会偏见。

3 CrowS-Pairs的设计原理与数据集结构

3.1 设计方法

CrowS-Pairs数据集的设计遵循以下几个关键原则：

• 句子对结构：每个数据样本由一个"更偏见的"句子和一个"较少偏见的"句子组成。模型需要判断哪个句子更可能被语言模型生成。
• 覆盖多种偏见类型：数据集覆盖九种主要的社会偏见类型，包括性别、种族、宗教、年龄等。
• 平衡设计：数据集在偏见类型和目标群体上尽量保持平衡，以确保全面评估模型的各种偏见。
• 众包创建：部分数据通过众包平台收集，以确保数据的多样性和代表性。

3.2 数据集结构

CrowS-Pairs数据集由1,508个句子对组成，每个句子对遵循特定的结构。一个典型的CrowS-Pairs句子对如下所示：

更偏见的句子： “那个建筑工人很粗鲁，而那个护士很体贴。”

较少偏见的句子： “那个建筑工人很体贴，而那个护士很粗鲁。”

在这个例子中，第一个句子包含了职业性别刻板印象（建筑工人是男性且粗鲁，护士是女性且体贴），而第二个句子则打破了这种刻板印象。

数据集涵盖的九种偏见类型包括：

• 性别偏见 👥
• 种族/民族偏见 🌍
• 宗教偏见 🙏
• 年龄偏见 🎂
• 国籍偏见 🏳️
• 性取向偏见 🏳️‍🌈
• 身体外貌偏见 👀
• 社会经济地位偏见 💰
• 残疾偏见 ♿

4 CrowS-Pairs的评估方法与指标

4.1 评估指标

在CrowS-Pairs基准测试中，研究人员使用专门的指标来评估模型的社会偏见程度：

• 偏见得分：这个得分衡量模型在选择"更偏见的"句子而不是"较少偏见的"句子时的倾向性。得分越高，表明模型越倾向于选择包含偏见的句子，从而反映出模型本身可能存在的社会偏见。

理想的模型应该在CrowS-Pairs上得分接近随机猜测（50%），这意味着它的决策不依赖于社会偏见，而是基于真正的语言理解。

4.2 评估过程

在评估过程中，研究人员将模型在CrowS-Pairs数据集上的表现与在标准数据集上的表现进行比较。这有助于揭示模型在标准测试集上的高性能是否掩盖了其依赖偏见进行判断的问题。

下表展示了典型模型在CrowS-Pairs上的表现：

模型	偏见得分	偏见程度
BERT-base	较高	较大偏见
BERT-large	较高	较大偏见
RoBERTa-base	中等	中等偏见
RoBERTa-large	中等	中等偏见
理想模型	接近50%	极小偏见

5 CrowS-Pairs的主要研究发现

使用CrowS-Pairs进行的研究揭示了NLP模型中一些重要的偏见问题：

5.1 普遍存在的社会偏见

研究发现，像BERT和RoBERTa这样的流行预训练模型在CrowS-Pairs上都没有达到50%的随机猜测水平，这表明它们在推理过程中都会一定程度地依赖社会偏见。即使这些模型在标准数据集上获得了极高的准确性，它们仍然依赖于社会刻板印象进行预测。

这一发现表明，标准准确性指标可能不足以全面评估模型的真实能力，因为它们可能掩盖了模型依赖偏见进行预测的问题。

5.2 模型规模与偏见的关系

研究发现，模型规模的大小可以影响其社会偏见程度。例如，较大的模型（如BERT-large）比较小的模型（如BERT-base）表现出更高的偏见得分，这表明模型规模越大，可能学习和放大的社会偏见越多。

这一发现表明，简单地扩大模型规模并不能解决偏见问题，反而可能使模型更擅长模仿训练数据中的偏见信息。

5.3 偏见类型的差异

研究还发现，模型在不同类型的偏见上表现存在差异。例如，模型在性别和种族偏见上表现出的偏见程度最高，而在其他类型的偏见（如年龄或残疾偏见）上表现出的偏见程度相对较低。这种差异反映了训练数据中不同偏见类型的分布和强度。

6 基于CrowS-Pairs的偏见缓解方法

基于CrowS-Pairs揭示的问题，研究人员提出了多种减少模型社会偏见的方法：

6.1 数据去偏

一种方法是数据去偏，通过在训练前从训练数据中识别和移除包含偏见的文本，或者对训练数据进行平衡，以减少某些偏见类型的过度表示。

6.2 对抗学习

对抗学习是另一种减少偏见的方法，通过训练模型在完成主要任务（如掩码语言建模）的同时，防止预测受保护属性（如性别、种族等）。这鼓励模型学习不依赖于偏见信息的表征。

6.3 偏见感知微调

在微调阶段，可以使用CrowS-Pairs等偏见评估数据集来监控和调整模型的偏见程度。这包括在微调目标中添加偏见减少项，或者使用专门设计的损失函数来平衡准确性和公平性。

6.4 模型干预

模型干预是在模型训练后直接修改模型参数或行为以减少偏见的方法。例如，通过修改注意力权重或隐藏表征来减少模型对偏见信息的依赖。

7 CrowS-Pairs的局限性与相关数据集

7.1 局限性

尽管CrowS-Pairs是一个有价值的偏见评估工具，但它也存在一些局限性：

• 有限的覆盖范围：CrowS-Pairs主要关注英语中的社会偏见，不覆盖其他语言或其他类型的偏见（如政治偏见、文化偏见等）。
• 二进制判断：CrowS-Pairs使用二进制判断（更偏见的 vs. 较少偏见的），这可能无法捕捉偏见的连续性和复杂性。
• 静态评估：作为一个静态数据集，CrowS-Pairs可能无法捕捉模型在真实世界动态使用中表现出的所有偏见形式。
• 众包偏差：由于部分数据通过众包收集，可能引入众包工作者自身的偏见和主观判断。

7.2 相关数据集

为了应对CrowS-Pairs的局限性，研究人员开发了更多专门化的偏见评估数据集：

• StereoSet：一个大规模数据集，用于评估模型在完形填空任务中的刻板印象偏见。
• BOLD：一个用于评估文本生成模型偏见的基准测试，涵盖多种人口统计属性。
• BBQ：一个用于评估多种社会偏见的基准测试，涵盖性别、年龄、种族、宗教等多个维度。
• CrowS-Pairs扩展：如CrowS-Pairs-fr，将CrowS-Pairs扩展到法语等其他语言。

这些数据集与CrowS-Pairs共同构成了评估NLP模型偏见的综合工具集。

8 CrowS-Pairs的实际应用与影响

CrowS-Pairs不仅是一个研究工具，还在实际应用中发挥着重要作用：

1. 模型开发：帮助研究人员识别和解决模型中的社会偏见问题，开发更公平的NLP系统。
2. 系统评估：被企业和组织用于评估部署的NLP系统的公平性，确保它们符合伦理标准和法律法规。
3. 政策制定：为政策制定者和监管机构提供技术洞察，帮助他们制定合理的AI伦理指南和监管框架。
4. 公众教育：提高公众对AI系统中偏见问题的认识，促进更广泛的讨论和参与。

本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！