Cross-modal Information Flow in Multimodal Large Language Models

1.Introduction

图 1：展示 MLLMs 在解决多模态任务时的内部机制。从底层到顶层，模型首先将整个图像中的通用视觉信息传播到语言隐藏表示中；接着，与回答问题相关的选定视觉信息被转移到语言表示中；最后，问题隐藏表示中的集成多模态信息流向最后位置，以促进最终预测。此外，答案最初以小写形式生成，然后将首字母转换为大写。

LLM根据视觉和语言输入生成结果，其中图像编码器提取的视觉表示在输入序列中的词嵌入之前。通过定位和分析不同模态间跨层的信息流来研究他们之间的交互，我们旨在通过选择性的抑制对应视觉和语言输入的标记之间的特定注意力模式，并通过观察答案预测性能的响应变化。在采用transformer解码器架构的现在自回归mllm中，注意力层是唯一能够实现对应不同输入位置的隐藏表示之间通信的模块，因此，为抑制跨模态信息流，我们采用注意力移除方法，使用该方法在特定的transformer层阻断连接不同类型的隐藏表示的注意力边。

1.整体图像的视觉信息如何与问题中的语言信息融合？2.更有针对性的视觉信息，即与回答问题直接相关的特定图像区域如何与问题的语言信息整合？3.输入的语言和视觉