阅读：Agent AI:Surveying the Horizons of Multimodal Interaction (2.2.1-2.2.3)

2.2.1 幻觉

生成文本的智能体（Agent）通常容易产生幻觉，即生成的文本毫无意义或不忠实于所提供的源内容（Raunak et al., 2021; Maynez et al., 2020）。幻觉可以分为两类：内在幻觉和外在幻觉（Ji et al., 2023）。内在幻觉是指与源材料相矛盾的幻觉，而外在幻觉是指生成的文本包含了源材料中最初未包含的额外信息。

在语言生成中，减少幻觉率的一些有前景的方法包括使用检索增强生成（Retrieval-Augmented Generation, RAG）（Lewis et al., 2020; Shuster et al., 2021）或其他通过外部知识检索来“锚定”（grounding）自然语言输出的方法（Dziri et al., 2021; Peng et al., 2023）。通常，这些方法旨在通过检索额外的源材料来增强语言生成，并提供机制来检查生成的响应与源材料之间的矛盾。

在多模态智能体系统的背景下，视觉语言模型（VLM）也被证明会产生幻觉（Zhou et al., 2023b）。对于基于视觉的语言生成而言，一个常见的幻觉原因是过度依赖训练数据中物体和视觉线索的共现性（Rohrbach et al., 2018）。那些仅仅依赖预训练的大语言模型（LLM）或视觉语言模型（VLM），并且只进行有限的特定环境微调的 AI 智能体，会特别容易产生幻觉，因为它们依赖预训练模型的内部知识库来生成行为，可能无法准确理解其部署所在的世界状态的动态变化。

导读与解释

这部分内容探讨了 AI 智能体领域一个非常关键的挑战——幻觉（Hallucination）。

1. 什么是“幻觉”？

在 AI 领域，“幻觉”不是指 AI 看到了不存在的东西，而是特指它“一本正经地胡说八道”。具体来说，就是模型生成的内容：

• 无中生有：编造了事实、数据或引用。
• 与事实不符：生成的内容与提供的源信息或公认的常识相矛盾。

2. 幻觉的分类

论文将幻觉分为两种：

• 内在幻觉 (Intrinsic Hallucination)：生成的内容与你提供给它的上下文或源材料直接冲突。
  • 例子：你给 AI 一篇文章说“苹果公司发布了 iPhone 15”，但 AI 总结说“文章指出苹果发布了 iPhone 16”。这就是内在幻觉。
• 外在幻觉 (Extrinsic Hallucination)：生成的内容在你的源材料中找不到依据，但它可能是对的，也可能是错的。
  • 例子：你给 AI 一篇关于 iPhone 15 功能的文章，AI 在总结时补充了一句“该手机的电池续航得到了用户的一致好评”。这句话在你的原文中没有提到，AI 是自己“推断”或“编造”出来的。这就是外在幻觉。

3. 如何缓解幻觉？

论文提到了当前主流的解决思路：检索增强生成 (RAG)。

• 核心思想：不要让模型只依赖自己“脑子”里预训练的知识，而是让它在回答问题前，先去一个可靠的、最新的知识库（比如数据库、文档库）里查找相关资料，然后基于查到的资料来生成答案。
• 工作流程：
  1. 检索 (Retrieve)：根据用户问题，从外部知识源中搜索最相关的信息片段。
  2. 增强 (Augment)：将这些检索到的信息片段和原始问题一起作为新的、更丰富的提示（Prompt）提供给模型。
  3. 生成 (Generate)：模型根据这个增强后的提示生成答案。
• 好处：这种方法通过提供事实依据来“锚定”（grounding）模型的输出，大大减少了模型胡乱编造的可能性，并能检查生成内容与事实是否矛盾。

4. 多模态智能体中的幻觉

这部分将问题扩展到了多模态领域（即能理解文本、图像等多种信息的 AI）。

• 视觉语言模型 (VLM) 也会产生幻觉：比如给它看一张狗在草地上的图片，它可能会描述“一只狗在公园里玩飞盘”，即使图片里根本没有飞盘。
• 原因：论文指出了一个关键原因——过度依赖“共现性”。模型在训练时见了太多“公园、草地、狗、飞盘”一起出现的图片，导致它形成了思维定势，看到其中几个元素就自动脑补出其他的。
• 对智能体的警示：如果一个 AI 智能体（比如机器人）只依赖预训练好的通用模型（LLM 或 VLM），而没有针对它所处的具体环境（比如你家、某个工厂）进行充分的微调，它就很容易因为“幻觉”而做出错误判断和行动。因为它对这个特定世界的“物理规律”和“状态”理解得并不到位。

2.2.2 Biases and Inclusivity
AI agents based on LLMs or LMMs (large multimodal models) have biases due to several factors inherent in their
design and training process. When designing these AI agents, we must be mindful of being inclusive and aware of the
needs of all end users and stakeholders. In the context of AI agents, inclusivity refers to the measures and principles
employed to ensure that the agent’s responses and interactions are inclusive, respectful, and sensitive to a wide range of
users from diverse backgrounds. We list key aspects of agent biases and inclusivity below.
• Training Data: Foundation models are trained on vast amounts of text data collected from the internet,
including books, articles, websites, and other text sources. This data often reflects the biases present in
human society, and the model can inadvertently learn and reproduce these biases. This includes stereotypes,
prejudices, and slanted viewpoints related to race, gender, ethnicity, religion, and other personal attributes. In
particular, by training on internet data and often only English text, models implicitly learn the cultural norms of
Western, Educated, Industrialized, Rich, and Democratic (WEIRD) societies (Henrich et al., 2010) who have a
disproportionately large internet presence. However, it is essential to recognize that datasets created by humans
cannot be entirely devoid of bias, since they frequently mirror the societal biases and the predispositions of the
individuals who generated and/or compiled the data initially.
• Historical and Cultural Biases: AI models are trained on large datasets sourced from diverse content. Thus,
the training data often includes historical texts or materials from various cultures. In particular, training
data from historical sources may contain offensive or derogatory language representing a particular society’s
cultural norms, attitudes, and prejudices. This can lead to the model perpetuating outdated stereotypes or not
fully understanding contemporary cultural shifts and nuances.
• Language and Context Limitations: Language models might struggle with understanding and accurately
representing nuances in language, such as sarcasm, humor, or cultural references. This can lead to misinterpretations
or biased responses in certain contexts. Furthermore, there are many aspects of spoken language that
are not captured by pure text data, leading to a potential disconnect between human understanding of language
and how models understand language.
• Policies and Guidelines: AI agents operate under strict policies and guidelines to ensure fairness and
inclusivity. For instance, in generating images, there are rules to diversify depictions of people, avoiding
stereotypes related to race, gender, and other attributes.
• Overgeneralization: These models tend to generate responses based on patterns seen in the training data.
This can lead to overgeneralizations, where the model might produce responses that seem to stereotype or
make broad assumptions about certain groups.
• Constant Monitoring and Updating: AI systems are continuously monitored and updated to address any
emerging biases or inclusivity issues. Feedback from users and ongoing research in AI ethics play a crucial
role in this process.
• Amplification of Dominant Views: Since the training data often includes more content from dominant
cultures or groups, the model may be more biased towards these perspectives, potentially underrepresenting or
misrepresenting minority viewpoints.
• Ethical and Inclusive Design: AI tools should be designed with ethical considerations and inclusivity as core
principles. This includes respecting cultural differences, promoting diversity, and ensuring that the AI does not
perpetuate harmful stereotypes.
• User Guidelines: Users are also guided on how to interact with AI in a manner that promotes inclusivity and
respect. This includes refraining from requests that could lead to biased or inappropriate outputs. Furthermore,
it can help mitigate models learning harmful material from user interactions.
Despite these measures, AI agents still exhibit biases. Ongoing efforts in agent AI research and development are focused
on further reducing these biases and enhancing the inclusivity and fairness of agent AI systems. Efforts to Mitigate
Biases:
• Diverse and Inclusive Training Data: Efforts are made to include a more diverse and inclusive range of
sources in the training data.
• Bias Detection and Correction: Ongoing research focuses on detecting and correcting biases in model
responses.
• Ethical Guidelines and Policies: Models are often governed by ethical guidelines and policies designed to
mitigate biases and ensure respectful and inclusive interactions.
• Diverse Representation: Ensuring that the content generated or the responses provided by the AI agent
represent a wide range of human experiences, cultures, ethnicities, and identities. This is particularly relevant
in scenarios like image generation or narrative construction.
• Bias Mitigation: Actively working to reduce biases in the AI’s responses. This includes biases related to race,
gender, age, disability, sexual orientation, and other personal characteristics. The goal is to provide fair and
balanced responses that do not perpetuate stereotypes or prejudices.
• Cultural Sensitivity: The AI is designed to be culturally sensitive, acknowledging and respecting the diversity
of cultural norms, practices, and values. This includes understanding and appropriately responding to cultural
references and nuances.
• Accessibility: Ensuring that the AI agent is accessible to users with different abilities, including those with
disabilities. This can involve incorporating features that make interactions easier for people with visual,
auditory, motor, or cognitive impairments.
• Language-based Inclusivity: Providing support for multiple languages and dialects to cater to a global user
base, and being sensitive to the nuances and variations within a language (Liu et al., 2023b).
• Ethical and Respectful Interactions: The Agent is programmed to interact ethically and respectfully with all
users, avoiding responses that could be deemed offensive, harmful, or disrespectful.
• User Feedback and Adaptation: Incorporating user feedback to continually improve the inclusivity and
effectiveness of the AI agent. This includes learning from interactions to better understand and serve a diverse
user base.
• Compliance with Inclusivity Guidelines: Adhering to established guidelines and standards for inclusivity in
AI agent, which are often set by industry groups, ethical boards, or regulatory bodies.
Despite these efforts, it’s important to be aware of the potential for biases in responses and to interpret them with critical
thinking. Continuous improvements in AI agent technology and ethical practices aim to reduce these biases over time.
One of the overarching goals for inclusivity in agent AI is to create an agent that is respectful and accessible to all users,
regardless of their background or identity.

导读与解释
这部分深入探讨了 AI 领域另一个核心伦理问题——偏见（Bias），以及如何实现包容性（Inclusivity）。

1. 偏见从何而来？
论文指出了 AI 偏见的根源，简单来说就是**“垃圾进，垃圾出”**。

训练数据是“原罪”：AI 的知识来源于海量的互联网数据。这些数据本身就充满了人类社会的各种偏见、刻板印象和不平衡的观点。AI 在学习时会把这些“糟粕”也一并学进去。
“WEIRD”问题：这是一个非常重要的概念。AI 的训练数据绝大多数来自互联网，而互联网内容主要由西方、受过良好教育、身处工业化、富裕且民主社会的人群产生。这导致 AI 的“世界观”和“价值观”严重偏向这个群体，而对其他文化、社会和群体的理解则非常有限甚至错误。
历史与文化局限：AI 学习了历史文献，可能会把一些在当时正常但现在看来是歧视性或攻击性的内容当成“知识”，从而在回答中不合时宜地使用。
语言的模糊性：AI 很难理解讽刺、幽默这类依赖文化和语境的表达，容易产生误解。
2. 偏见有哪些表现？
过度泛化：模型学到了“A 常常和 B 一起出现”，就会错误地认为“只要有 A 就一定有 B”，形成刻板印象。例如，提到“护士”就默认是女性，提到“程序员”就默认是男性。
放大主流观点：由于训练数据中主流群体的声音更大，AI 会更倾向于重复这些观点，而少数群体的声音则被淹没或歪曲。
3. 如何对抗偏见，实现包容性？
这部分是本节的重点，论文从技术和非技术层面列举了一整套“组合拳”，旨在创建一个更公平、更包容的 AI。

数据层面 (治本)：
扩充数据源：有意识地去收集和整理更多元化、更能代表不同文化和群体的训练数据。
算法层面 (技术修复)：
偏见检测与纠正：开发算法来自动识别模型输出中的偏见，并进行修正。
策略与设计层面 (顶层设计)：
道德准则：为 AI 设定严格的规则，比如在生成人物图像时，必须保证种族、性别的多样性。
可访问性 (Accessibility)：确保 AI 的设计能被残障人士（如视力、听力障碍者）方便地使用。
文化敏感性：让 AI 懂得尊重不同文化，而不是用一种文化的标准去评判所有。
互动与迭代层面 (持续改进)：
用户反馈：建立一个反馈循环，让用户可以报告有偏见的输出，帮助开发者持续改进模型。
用户引导：引导用户以更负责任的方式提问，避免诱导 AI 产生有害内容。
核心要点
这部分强调，解决 AI 偏见是一个长期且复杂的系统工程，不可能一蹴而就。它需要从数据源头、算法模型、产品设计到用户互动等多个环节共同努力。同时，作为用户，我们也需要保持批判性思维，不能全盘接受 AI 的输出，要意识到它背后可能存在的偏见。最终目标是让 AI 成为一个对所有人都尊重、公平、有用的工具。

2.2.2 偏见与包容性

基于大语言模型（LLM）或大语言多模态模型（LMM）的 AI 智能体，由于其设计和训练过程中固有的几个因素而存在偏见。在设计这些 AI 智能体时，我们必须注意保持包容性，并意识到所有最终用户和利益相关者的需求。在 AI 智能体的背景下，包容性指的是为确保智能体的响应和交互具有包容性、尊重并对来自不同背景的广泛用户保持敏感而采用的措施和原则。我们在下面列出了智能体偏见与包容性的关键方面。

• 训练数据：基础模型是在从互联网收集的大量文本数据上训练的，包括书籍、文章、网站和其他文本来源。这些数据常常反映了人类社会中存在的偏见，模型可能会无意中学习并复现这些偏见。这包括与种族、性别、民族、宗教和其他个人属性相关的刻板印象、偏见和倾斜的观点。特别是，通过在互联网数据（且通常只有英文文本）上进行训练，模型含蓄地学习了“WEIRD”社会（西方 Western、受过教育 Educated、工业化 Industrialized、富裕 Rich 和民主 Democratic）的文化规范（Henrich et al., 2010），这些社会在互联网上占有不成比例的巨大存在感。然而，必须认识到，由人类创建的数据集不可能完全没有偏见，因为它们常常反映了社会偏见以及最初生成和/或编译数据的人的倾向。
• 历史与文化偏见：AI 模型是在源自不同内容的大型数据集上训练的。因此，训练数据通常包括来自不同文化的历史文本或材料。特别是，来自历史来源的训练数据可能包含代表特定社会文化规范、态度和偏见的攻击性或贬损性语言。这可能导致模型延续过时的刻板印象，或无法完全理解当代的文化变迁和细微差别。
• 语言与上下文限制：语言模型可能难以理解和准确表示语言中的细微差别，如讽刺、幽默或文化引用。这可能导致在某些情境下出现误解或有偏见的响应。此外，口语的许多方面无法被纯文本数据捕捉，导致人类对语言的理解与模型理解语言的方式之间存在潜在的脱节。
• 政策与指导方针：AI 智能体在严格的政策和指导方针下运行，以确保公平和包容。例如，在生成图像时，有规则要求多样化地描绘人物，避免与种族、性别和其他属性相关的刻板印象。
• 过度泛化：这些模型倾向于根据训练数据中看到的模式生成响应。这可能导致过度泛化，即模型可能会产生看似刻板印象或对某些群体做出宽泛假设的响应。
• 持续监控与更新：AI 系统被持续监控和更新，以解决任何新出现的偏见或包容性问题。用户的反馈和 AI 伦理方面的持续研究在这一过程中扮演着至关重要的角色。
• 主流观点的放大：由于训练数据通常包含更多来自主流文化或群体的内容，模型可能更偏向于这些视角，从而可能低估或错误地代表少数群体的观点。
• 道德与包容性设计：AI 工具的设计应以道德考量和包容性为核心原则。这包括尊重文化差异、促进多样性，并确保 AI 不会延续有害的刻板印象。
• 用户指南：用户也会被引导如何以促进包容和尊重的方式与 AI 互动。这包括避免可能导致有偏见或不当输出的请求。此外，这有助于减轻模型从用户互动中学习有害材料的风险。

尽管采取了这些措施，AI 智能体仍然表现出偏见。当前在智能体 AI 研究和开发中的努力，正专注于进一步减少这些偏见，并增强智能体 AI 系统的包容性和公平性。缓解偏见的努力包括：

• 多样化和包容性的训练数据：努力在训练数据中包含更多样化和包容性的来源。
• 偏见检测与纠正：持续的研究专注于检测和纠正模型响应中的偏见。
• 道德准则与政策：模型通常受到旨在减轻偏见并确保尊重和包容性互动的道德准则和政策的约束。
• 多样化表征：确保 AI 智能体生成的内容或提供的响应能够代表广泛的人类经验、文化、民族和身份。这在图像生成或叙事构建等场景中尤为重要。
• 偏见缓解：积极致力于减少 AI 响应中的偏见。这包括与种族、性别、年龄、残疾、性取向和其他个人特征相关的偏见。目标是提供公平、平衡且不延续刻板印象或偏见的响应。
• 文化敏感性：AI 被设计为具有文化敏感性，承认并尊重文化规范、实践和价值观的多样性。这包括理解并恰当回应文化引用和细微差别。
• 可访问性：确保 AI 智能体对不同能力的用户（包括残疾人士）是可访问的。这可能涉及集成一些功能，使有视觉、听觉、运动或认知障碍的人更容易进行交互。
• 基于语言的包容性：为多种语言和方言提供支持，以迎合全球用户群，并对一种语言内部的细微差别和变体保持敏感（Liu et al., 2023b）。
• 道德与尊重的互动：智能体被编程为与所有用户进行道德和尊重的互动，避免可能被视为冒犯、有害或不尊重的响应。
• 用户反馈与适应：整合用户反馈，以持续改善 AI 智能体的包容性和有效性。这包括从互动中学习，以更好地理解和服务于多样化的用户群。
• 遵守包容性指南：遵守由行业团体、伦理委员会或监管机构制定的关于 AI 智能体包容性的既定指南和标准。

尽管做出了这些努力，但重要的是要意识到响应中潜在的偏见，并以批判性思维来解读它们。AI 智能体技术和伦理实践的持续改进旨在随时间推移减少这些偏见。智能体 AI 包容性的总体目标之一是创建一个对所有用户都尊重且可访问的智能体，无论其背景或身份如何。

导读与解释

这部分深入探讨了 AI 领域另一个核心伦理问题——偏见（Bias），以及如何实现包容性（Inclusivity）。

1. 偏见从何而来？

论文指出了 AI 偏见的根源，简单来说就是**“垃圾进，垃圾出”**。

• 训练数据是“原罪”：AI 的知识来源于海量的互联网数据。这些数据本身就充满了人类社会的各种偏见、刻板印象和不平衡的观点。AI 在学习时会把这些“糟粕”也一并学进去。
• “WEIRD”问题：这是一个非常重要的概念。AI 的训练数据绝大多数来自互联网，而互联网内容主要由西方、受过良好教育、身处工业化、富裕且民主社会的人群产生。这导致 AI 的“世界观”和“价值观”严重偏向这个群体，而对其他文化、社会和群体的理解则非常有限甚至错误。
• 历史与文化局限：AI 学习了历史文献，可能会把一些在当时正常但现在看来是歧视性或攻击性的内容当成“知识”，从而在回答中不合时宜地使用。
• 语言的模糊性：AI 很难理解讽刺、幽默这类依赖文化和语境的表达，容易产生误解。

2. 偏见有哪些表现？

• 过度泛化：模型学到了“A 常常和 B 一起出现”，就会错误地认为“只要有 A 就一定有 B”，形成刻板印象。例如，提到“护士”就默认是女性，提到“程序员”就默认是男性。
• 放大主流观点：由于训练数据中主流群体的声音更大，AI 会更倾向于重复这些观点，而少数群体的声音则被淹没或歪曲。

3. 如何对抗偏见，实现包容性？

这部分是本节的重点，论文从技术和非技术层面列举了一整套“组合拳”，旨在创建一个更公平、更包容的 AI。

• 数据层面 (治本)：
  • 扩充数据源：有意识地去收集和整理更多元化、更能代表不同文化和群体的训练数据。
• 算法层面 (技术修复)：
  • 偏见检测与纠正：开发算法来自动识别模型输出中的偏见，并进行修正。
• 策略与设计层面 (顶层设计)：
  • 道德准则：为 AI 设定严格的规则，比如在生成人物图像时，必须保证种族、性别的多样性。
  • 可访问性 (Accessibility)：确保 AI 的设计能被残障人士（如视力、听力障碍者）方便地使用。
  • 文化敏感性：让 AI 懂得尊重不同文化，而不是用一种文化的标准去评判所有。
• 互动与迭代层面 (持续改进)：
  • 用户反馈：建立一个反馈循环，让用户可以报告有偏见的输出，帮助开发者持续改进模型。
  • 用户引导：引导用户以更负责任的方式提问，避免诱导 AI 产生有害内容。

核心要点

这部分强调，解决 AI 偏见是一个长期且复杂的系统工程，不可能一蹴而就。它需要从数据源头、算法模型、产品设计到用户互动等多个环节共同努力。同时，作为用户，我们也需要保持批判性思维，不能全盘接受 AI 的输出，要意识到它背后可能存在的偏见。最终目标是让 AI 成为一个对所有人都尊重、公平、有用的工具。