【论文笔记】Introduction to Explainable AI
论文信息
论文标题： Introduction to Explainable AI - CHI ’21 Extended Abstracts
论文作者： Q. Vera Liao, Moninder Singh, Yunfeng Zhang, Rachel K.E. Bellamy
论文链接： https://doi.org/10.1145/3411763.3445016
课程链接： https://hcixaitutorial.github.io/
其实这篇是一个课程的介绍，但是我们也可以快速的了解一下 XAI in HCI 的基础概念。推荐阅读完成的 slide 和相关的讲座以更完整的了解该领域。
下面的笔记是结合了作者的 slide 和 相关的课程视频整理而成。
研究背景与动机
随着人工智能（尤其是监督式机器学习模型）被广泛应用于高风险任务（high-stakes tasks）——如医疗诊断、信贷审批、司法风险评估等——其“黑箱”特性引发了对可解释性（Explainability）的迫切需求。
XAI 的核心目标：不仅让模型“能解释”，更要让用户能理解、能信任、能行动。
作者指出，XAI 是人机交互（HCI）与人工智能（AI）的交叉领域，需兼顾：
- 技术可行性（如解释算法的忠实性、稳定性）
- 用户体验（如解释是否满足用户意图、是否支持决策）
这里聚焦于监督式机器学习模型的解释，但 XAI 原则可扩展至机器人、规划系统等其他 AI 形态。
XAI 的定义与与重要性
- 狭义定义：使模型决策对人类可理解的技术与方法。
- 广义定义（“可理解 AI”）：涵盖对模型、数据、性能、输出范围、局限性等全方位的透明化。
XAI 的核心目标与问题
可解释人工智能的核心问题可以分为四个层面：
-
什么是 XAI？它解决什么问题？
- XAI 旨在提供人类可理解的解释，帮助用户理解 AI 的决策逻辑、行为边界与局限性。
- 不同学科关注点不同：
- 机器学习社区：侧重模型内在可解释性（如决策树、线性模型）或事后解释（如 LIME、SHAP）。
- HCI 社区：关注解释如何被用户感知、使用与信任，强调以用户为中心的设计。
-
为什么需要 XAI？
- 功能性需求：辅助模型调试、提升系统可靠性。
- 伦理与法律需求：满足 GDPR 等法规中的“解释权”（Right to Explanation）。
- 用户体验需求：建立适当信任、支持用户与 AI 协同决策（如贷款审批、医疗诊断）。
-
如何进行解释？
- 关键挑战：No one-fits-all solution -> case by case
- 解释形式多样，包括：
- 基于特征重要性（如 SHAP 值）
- 基于规则（如决策规则列表）
- 基于样例（如相似案例对比）
- 反事实解释（“如果你的收入高 10%，就会获批”）
-
从哪里开始我们的可解释性研究？
- 可以使用一些开源工具 如 AIX 360 来快速实现解释功能。
- 需要强调设计指南与用户研究的重要性。
以用户为中心的 XAI 设计方法
作者提出 “问题驱动的 XAI 设计流程”（Question-Driven XAI Design Process），其核心是：
- 从用户问题出发，而非从技术出发。
- 基于实证研究，整理出 XAI 问题库（XAI Question Bank），包含典型用户问题，例如：
- “为什么这个决定是这样做出的？”（Why?）
- “如果输入改变，结果会怎样？”（What if?）
- “这个模型在哪些情况下会出错？”（When does it fail?）
该方法强调：
- 不同用户角色（开发者、业务人员、终端用户）有不同的解释需求。
- 解释设计应嵌入产品开发全流程，而非事后附加。
设计上可以分为四步：
- 识别用户问题
- 分析与聚类问题
- 映射到 XAI 技术
- 迭代设计与苹果
XAI 的开源工具
- AIX 360: IBM 开源的综合性 XAI 工具包
- Microsoft Interpret、SHAP、Alibi、Captum
- 设计资源：
- Google PAIR Explainability Guidelines
- IBM Design for AI: Explainability
- Model Cards（Google）、FactSheets（IBM）
XAI 的挑战与风险
XAI 仍然面对很多问题，我们需要注意：
- 过度信任（Over-trust/Over-Reliance）：解释可能让用户盲目相信错误预测（尤其在领域知识不足者中）
- 理解鸿沟：用户对 AI 或领域知识的缺乏会影响解释效果
- 社会情境缺失：解释需考虑组织流程、权力关系、隐私约束等（引向“社会透明性” Social Transparency）
未来方向：超越“打开黑箱”，走向“社会情境中的可理解性”（Socially Situated Understanding）。
对研究与实践的启示
对于研究者：
- XAI 是 HCI 与 AI 的交叉前沿，需结合认知科学、社会学与机器学习。
- 应关注解释的有效性评估（如用户理解度、信任校准、决策质量提升）。
对于开发者/设计师：
- 避免“技术决定论”——不要默认使用 SHAP 或 LIME，而应先问：“用户需要什么解释？”
- 利用 AIX360 等工具快速原型化解释功能，并通过用户测试迭代优化。
对政策制定者：
- XAI 是实现“负责任 AI”（Responsible AI）的关键组件，应鼓励开源工具与设计标准的发展。