VQA新突破：零样本推理与多智能体策略引领看图回答新时代

视觉问答（Visual Question Answering, VQA）作为视觉语言领域的重要交叉任务，旨在让人工智能系统“看图回答问题”，融合了图像理解、语言建模与逻辑推理等多项复杂能力。随着大规模多模态数据集与基础模型的发展，VQA不仅在学术上受到广泛关注，也在智能搜索、教育辅导、医疗辅助和机器人交互等应用中展现出巨大潜力。

传统VQA方法依赖大规模标注数据进行端到端训练，尽管在封闭测试集上取得不错成绩，但在现实环境中面临诸多挑战：包括开放领域问答能力不足、跨任务泛化性能有限、缺乏可解释推理路径，以及对新颖概念和场景的适应性差。

近年来，零样本推理（zero-shot reasoning）和多智能体协同机制（multi-agent collaboration）逐渐成为突破瓶颈的关键方向。一方面，视觉语言预训练（VLP）模型如 BLIP-2、GPT-4V 等具备跨任务迁移能力，通过自然语言提示（prompting）即可在无监督条件下实现强大的VQA性能；另一方面，多智能体结构引入不同“子专家”模块（如图像检测、文本理解、知识检索等），使模型具备模块化组合推理能力，提升其复杂任务处理能力与可解释性。CVPR 2024 多篇前沿研究正是围绕这一趋势展开，分别从实体对齐、上下文配置、时序定位与视觉基础可信度等角度，对VQA任务在零样本场景下的推理机制和多组件协作框架进行了深入探索，并通过项目代码的开源，为后续研究和实际应用提供了宝贵资源。

这些突破不仅刷新了VQA在开放世界理解任务中的表现极限，也为构建更强大、灵活与可信的人机对话系统奠定了新基础。

论文1

优点与创新

1. 首次研究弱监督视频问答：论文进行了首次弱监督视频问答的研究，并发布了NExT-GQA基准数据集，以促进更可信的视觉语言模型（VLMs）的发展。

2. 全面分析高级VLMs：论文对一系列高性能的VLMs进行了全面分析，揭示了它们在执行视觉问答任务中的局限性。

3. 提出有效的定位机制：论文提出了一种简单但有效的高斯掩码优化和跨模态学习方法，不仅增强了现有VLMs的视觉定位能力，还对新的最先进的问答性能有所贡献，例如在NExT-QA测试集上达到了73.1%的准确率。

4. 高斯掩码学习模块：设计了一个简单而有效的高斯掩码学习模块，将其集成到大型VLMs中，并通过问答和视频问题定位来优化其参数。

5. 弱监督时间定位：通过在视频的时间维度上学习可微的高斯掩码，提出了一种易于应用于现有VLMs的弱监督视频问答方法。

论文2

优点与创新

1. 统一的模型架构：提出了一个统一的模型（GroundVQA），同时进行查询定位和答案生成，减少了错误传播。

2. 大规模语言模型的应用：利用大规模语言模型（LLMs）生成大量的训练样本，显著提高了数据量和模型的泛化能力。

3. 引入CloseQA任务：通过引入CloseQA任务来处理开放式答案的评估问题，确保评估的可靠性。

4. 自动化的数据生成管道：建立了一个自动化管道，将Ego4D数据集中的叙述转换为带有时间窗口的问答对，缓解了训练数据不足的问题。

5. 多任务训练：模型同时训练开放式问答、封闭式问答和视频语言定位三个任务，提升了整体性能。

6. 显著的性能提升：在QAEGO4D和Ego4D-NLQ基准测试中取得了最先进的性能。

论文3

优点与创新

1. 扩展了任务识别（TR）和任务学习（TL）假设：通过细化假设，本文解释了和测量了LVLMs的ICL能力。

2. 揭示了LVLMs的三个重要内在属性：有限的TL能力、存在捷径效应以及视觉和语言模块之间的部分兼容性。

3. 设计了多种演示配置策略：包括基于相似性检索演示的方法和使用不同方式操作检索到的演示序列的策略。

4. 在多个VQA数据集上进行了详尽的实验：包括VQAv2、VizWiz和OK-VQA，揭示了LVLMs的内在属性，并展示了哪些策略可以一致地提高ICL VQA性能。

论文4

优点与创新

1. 提出了一个新的跨模态问答数据集VTQA，信息多样性、多媒体多步推理和开放式答案使其比现有数据集更具挑战性。

2. 在新数据集上对最先进的VQA模型进行了基准测试，展示了这些模型在该数据集上的性能大幅下降，凸显了该数据集在跨模态问答任务中的挑战性和潜力。

3. 提出了一个基线模型Key Entity Cross-Media Reasoning Network (KECMRN)，能够进行多媒体实体对齐和多步推理。

4. 数据集包含10,124个图像-文本对和23,781个问题，涵盖了多种类型和主题，所有文本、问题和答案均由人工标注，确保了数据的高质量和高准确性。

5. 通过两轮标注过程，确保问题的复杂性，过滤掉了仅能依靠图像或文本回答的问题。