【论文阅读】FairCLIP - 医疗视觉语言学习中的公平性提升
FairCLIP - 医疗视觉语言学习中的公平性提升
- 1.研究背景与动机
- 2.核心贡献
- 3.方法论细节
- 4.实验结果与洞见
- 5.总结
FairCLIP: Harnessing Fairness in Vision-Language Learning
FairCLIP - 医疗视觉语言学习中的公平性提升
Accepted by CVPR2024
github:链接
1.研究背景与动机
- 医学AI中的公平性问题：深度学习模型在医学诊断中的偏见可能导致不同人口群体（如种族、性别）的诊断差异、加剧健康不平等。
- 视觉语言（VL）模型的挑战：现有研究集中在纯视觉模型，而结合图像与文本的VL模型可能因文本（如临床笔记）的复杂性引入新偏差，但相关研究尚未深入。
- 数据集的缺失：现有医疗VL数据集缺乏详细人口统计信息和高质量标注，限制了公平分析的可靠性。
2.核心贡献
- Harvard-FairVLMed数据集：
- 首个专注于公平性的医疗VL数据集，包含10,000名患者的扫描激光眼底镜 (SLO)眼底图像、临床笔记以及六类人口属性（种族、性别、语言等）。
- 高质量标注与多样性：数据涵盖不同种族（亚洲8.19%、黑人14.91%、白人76.9%）、性别（女性56.3%）等，支持多维度公平性分析。
- 临床笔记的丰富性：包含非影像信息（用药、家族史等），更加贴近真实临床场景。
- FairCLIP方法：
- 基于最优化传输理论：通过最小化整体样本分布与各子群分布的Sinkhorn距离，平衡模型性能与公平性。
- 实验验证：在CLIP和BLIP2等VL模型上显著提升公平性指标（如ES-AUC），同时保持诊断准确率。
3.方法论细节
- Sinkhorn距离优化：
- 目标：对齐视觉-文本特征的联合分布，减少不同子群间的表征差异。
- 实现方式：在预训练阶段引入分布对齐损失，通过对比学习调整特征空间。
- 多模态特征融合：结合图像和文本特征，提高模型对复杂医学信息的理解能力。
4.实验结果与洞见
- VL模型的系统偏见：
- 种族:亚洲人子群AUC最高（79.74% vs. 黑人73.60%），白人居中（77.82%）。
- 语言：西班牙语患者表现最佳（84.00% vs. 英语77.25%），可能因数据不平衡或语言表述差异。
- 医学预训练的有效性：
- 在医学领域预训练的CLIP和BLIP2相比自然预训练模型，ES-AUC平均提高5-8%，尤其在名族属性改进显著。
- FairCLIP的优势：
- 在零样本任务中，FairCLIP(VIT-B/16)在种族属性上的DPD从15.33降低至6.07，同时AUC提升2.4%（67.84%→70.24%）
5.总结
本文通过构建高质量数据集和提出FairCLIP方法，系统性地解决了医疗VL模型中的公平性问题。实验表明，数据驱动的分布对齐策略能有效缓解模型偏见，为医疗AI的伦理设计提供了新思路。未来需进一步验证方法在更广泛场景中的适用性，推动公平性研究从理论向实际应用的转化。