多模态大语言模型arxiv论文略读（101）
ML-Mamba: Efficient Multi-Modal Large Language Model Utilizing Mamba-2
➡️ 论文标题：ML-Mamba: Efficient Multi-Modal Large Language Model Utilizing Mamba-2
➡️ 论文作者：Wenjun Huang, Jiakai Pan, Jiahao Tang, Yanyu Ding, Yifei Xing, Yuhe Wang, Zhengzhuo Wang, Jianguo Hu
➡️ 研究机构: Sun Yat-sen University, Dongguan University of Technology, University of the Chinese Academy of Sciences
➡️ 问题背景：多模态大语言模型（MLLMs）因其多功能性而受到广泛关注。然而，传统的Transformer架构由于其二次计算复杂度，导致了显著的计算开销。为了解决这一问题，研究团队提出了ML-Mamba，该模型利用最新的Mamba-2模型进行推理，Mamba-2以其线性可扩展性和快速处理长序列的能力而著称。
➡️ 研究动机：现有的多模态模型大多基于Transformer架构，这导致了计算效率低下。为了提高多模态模型的计算效率，研究团队探索了将Mamba-2模型应用于多模态学习任务的可能性，旨在提供一种高效且性能优越的多模态大语言模型。
➡️ 方法简介：研究团队提出了ML-Mamba，该模型使用预训练的Mamba-2语言模型作为主干，替换了传统的Transformer模型。此外，团队还设计了一种新的多模态连接器——Mamba-2 Scan Connector (MSC)，该连接器包括Mamba-2视觉选择性扫描模块（MVSS）和SwiGLU模块，用于增强视觉信息的处理能力。通过结合不同的视觉编码器和Mamba-2模型变体，团队优化了视觉和语言信息的融合。
➡️ 实验设计：研究团队在多个多模态学习基准测试上进行了广泛的实验，包括视觉语言模型（VLM）的六个常用基准测试。实验评估了ML-Mamba在不同任务上的性能，包括开放性视觉问答任务和封闭集预测任务。实验结果表明，ML-Mamba不仅在性能上与现有的多模态大语言模型相当，而且在某些基准测试中表现更优，尤其是在处理视觉幻觉和空间关系判断方面。此外，实验还验证了ML-Mamba在效率上的显著提升。
Diffusion Feedback Helps CLIP See Better
➡️ 论文标题：Diffusion Feedback Helps CLIP See Better
➡️ 论文作者：Wenxuan Wang, Quan Sun, Fan Zhang, Yepeng Tang, Jing Liu, Xinlong Wang
➡️ 研究机构: 中国科学院自动化研究所、中国科学院大学人工智能学院、北京人工智能研究院、北京交通大学信息科学研究所
➡️ 问题背景：对比语言-图像预训练模型（CLIP）在多模态理解和生成任务中表现出色，但其在视觉细节感知方面存在严重缺陷，如难以区分方向、数量、颜色、结构等。这些视觉缺陷限制了基于CLIP的多模态大语言模型（MLLMs）的感知能力。主要原因是训练CLIP所用的图像-文本对数据集存在偏差，缺乏文本的独特性和图像的多样性。
➡️ 研究动机：为了克服CLIP在视觉细节感知上的不足，研究团队提出了一种利用生成模型反馈优化CLIP表示的自监督方法。该方法旨在通过扩散模型的生成反馈，增强CLIP的视觉感知能力，从而提升多模态理解和视觉任务的性能。
➡️ 方法简介：研究团队提出了DIVA（DIffusion model as a Visual Assistant for CLIP），利用扩散模型作为视觉助手，通过生成反馈优化CLIP的表示。具体来说，DIVA通过条件扩散模型生成的反馈，结合图像重建损失，优化CLIP的视觉特征表示。该方法仅使用图像数据，无需对应的文本数据，构建了一个自监督框架。
➡️ 实验设计：在多个公开数据集上进行了实验，包括多模态视觉感知（MMVP-VLM）和图像分类与检索任务。实验评估了DIVA在不同图像分辨率、模型大小、训练数据和方法上的表现。结果显示，DIVA显著提升了CLIP在细粒度视觉感知任务上的性能，同时保持了CLIP的零样本学习能力。
Advancing Multimodal Large Language Models in Chart Question Answering with Visualization-Referenced Instruction Tuning
➡️ 论文标题：Advancing Multimodal Large Language Models in Chart Question Answering with Visualization-Referenced Instruction Tuning
➡️ 论文作者：Xingchen Zeng, Haichuan Lin, Yilin Ye, Wei Zeng
➡️ 研究机构: 香港科技大学（广州）、香港科技大学、德克萨斯大学奥斯汀分校
➡️ 问题背景：多模态大语言模型（MLLMs）在图表问答（CQA）任务中展现出巨大潜力。然而，现有的MLLMs和CQA数据集存在显著的局限性，包括数据分布偏差、缺乏细粒度的视觉编码和问题类型，以及对图表特性的适应不足。
➡️ 研究动机：为了提高MLLMs在CQA任务中的性能，研究团队通过实证研究识别了现有MLLMs和CQA数据集的局限性，并探索了有效的视觉指令对模型性能的提升。研究旨在通过改进数据集和模型训练方法，提高MLLMs在实际CQA任务中的表现。
➡️ 方法简介：研究团队提出了一种基于可视化参考的指令调优方法，通过构建高质量的数据集和基准，增强MLLMs的图表理解能力。具体方法包括：1) 数据过滤组件，利用细粒度的图表特征分类器揭示数据分布并过滤现有图表数据集；2) 数据生成组件，采用图表空间引导的数据增强策略生成多样化的图表任务；3) 通过解冻CLIP视觉编码器并结合多分辨率适应策略，训练新的MLLM。
➡️ 实验设计：研究在多个公开数据集上进行了实验，包括ChartQA和视觉素养评估数据集。实验设计了不同类型的图表和问题类型，以全面评估模型在不同条件下的表现。实验结果表明，即使在较少的训练数据下，所提出的方法也能显著提高模型的性能，特别是在复杂的推理和视觉-组合问题上。
CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models
➡️ 论文标题：CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models
➡️ 论文作者：Junda Wu, Xintong Li, Tong Yu, Yu Wang, Xiang Chen, Jiuxiang Gu, Lina Yao, Jingbo Shang, Julian McAuley
➡️ 研究机构: University of California, San Diego、Adobe Research、The University of New South Wales、CSIRO’s Data61
➡️ 问题背景：多模态大语言模型（Multimodal Large Language Models, MLLMs）通过指令调优（Instruction Tuning）来适应特定的下游任务，旨在将通用的多模态大语言模型与特定任务对齐。然而，MLLMs在指令调优过程中面临的主要挑战是如何高效地找到协同学习的平衡点，即语言模型（LLM）和特征编码器（Feature Encoder）之间的协同学习。不平衡的学习会导致学习梯度的减少，从而减慢模型的收敛速度，甚至导致次优结果。
➡️ 研究动机：现有的研究已经揭示了MLLMs在指令调优过程中，特征编码器和语言模型之间的学习不平衡问题，这可能导致学习梯度减少，进而影响模型的收敛速度和最终性能。为了进一步理解这一问题，并探索解决方案，研究团队提出了一个理论框架来量化学习平衡，并基于此设计了一种协调学习率调度器和辅助损失正则化方法，以平衡多模态学习进度，提高模型的收敛速度和性能。
➡️ 方法简介：研究团队首先提出了一个多模态学习平衡系数（Multimodal Learning Balance Coefficient），用于量化MLLMs指令调优过程中特征编码器和语言模型之间的学习平衡。基于理论分析和实证观察，研究团队揭示了学习不平衡背后的原因，并提出了CoMMIT方法，该方法结合了动态学习率调度器和辅助损失正则化，以促进每个模型组件的更新，防止学习梯度减少，提高学习平衡系数的估计准确性。
➡️ 实验设计：研究团队在多个下游任务上进行了实验，包括视觉和音频模态的任务。实验使用了多个MLLMs的骨干模型和特征编码器，验证了所提出方法的有效性和通用性。实验结果表明，CoMMIT方法在提高MLLMs指令调优的效率和效果方面表现优异，能够更好地协调多模态学习进度，减少学习振荡。
Interpreting and Mitigating Hallucination in MLLMs through Multi-agent Debate
➡️ 论文标题：Interpreting and Mitigating Hallucination in MLLMs through Multi-agent Debate
➡️ 论文作者：Zheng Lin, Zhenxing Niu, Zhibin Wang, Yinghui Xu
➡️ 研究机构: Xidian University、INF Tech Co., Ltd.
➡️ 问题背景：多模态大语言模型（MLLMs）在多种任务中展现了卓越的能力，但其生成的输出经常与视觉内容不一致，这种现象被称为“幻觉”（hallucination）。幻觉不仅影响模型的可靠性，还限制了其实际应用。
➡️ 研究动机：现有的方法主要集中在检测生成内容是否为幻觉，而未能解释幻觉产生的原因。研究团队认为，通过识别幻觉的原因，可以更有效地减轻幻觉，并为改进MLLMs提供方向。
➡️ 方法简介：研究团队提出了一种结合自我反思（self-reflection）和多代理辩论（multi-agent debate）的方法来减轻MLLMs中的幻觉。自我反思通过连续提问促进模型的慢思考，而多代理辩论通过多个代理之间的辩论促进模型的发散思维。此外，研究团队还提出了一种方法来区分MLLMs中的创造力和幻觉。
➡️ 实验设计：研究团队在POPE基准数据集上进行了实验，通过多轮辩论和自我反思策略，评估了模型在不同任务中的表现。实验设计了不同的问题类型和辩论流程，以全面评估模型的幻觉减轻能力和解释能力。此外，研究团队还修正了POPE数据集中的标注错误，并提出了一个新的基准POPE-C来评估MLLMs的创造力。