多模态融合的分类、跨模态对齐的方法
两者的主要区别
| 维度 | 扩模态对齐 | 扩模态融合 |
|---|---|---|
| 目标 | 对齐模态间的表示，使其语义一致 | 融合模态间的信息，生成联合表示 |
| 关注点 | 模态间的相似性和语义一致性 | 模态间的互补性和信息整合 |
| 空间 | 映射到共享的公共语义空间 | 生成新的联合特征空间 |
| 方法 | 对比学习、共享空间、注意力机制 | 特征拼接、深度交互、动态权重 |
| 应用场景 | 图文匹配、模态检索、跨模态翻译 | 情感分析、视觉问答、图文生成 |
扩模态对齐更注重模态间的一致性，解决“如何让模态之间更好地理解彼此”的问题。
扩模态融合更注重模态间的互补性，解决“如何将不同模态的信息结合起来”以更好地完成任务的问题。
两者在多模态学习中往往是互补的，许多任务会先进行对齐，再进行融合。
什么是多模态融合（MultiModal Fusion）？
多模态融合能够充分利用各模态之间的互补优势，将来自不同模态的信息整合成一个稳定且全面的多模态表征。表征学习通过从原始数据中自动提取各模态有效特征，生成稳定全面的多模态表征。
表征学习（Representation Learning） ≈ 向量化（Embedding）
多模态分为几类？
从数据处理的层次角度来划分，多模态融合可分为数据级融合、特征级融合和目标级融合。
一、数据级融合（Data-Level Fusion）：
数据级融合是在预处理阶段将不同模态的原始数据直接合并，适用于高度相关和互补的数据场景。
例如image与文本的数据融合，将image的patches与text的token进行融合：
- 图像可以通过切分为小的 patches（例如，16x16 的小块）来表示，每个 patch 都可以看作是一个小的图像单元。
- 序列（如文本）已经被分割成 tokens（如单词或子词）。
- 数据级融合可以直接将这些图像 patches 和文本 tokens 合并为一个统一的输入序列。
二、特征级融合（Feature-Level Fusion）：
特征级融合是在特征提取之后、决策之前进行的融合。不同模态的数据首先被分别处理，提取出各自的特征表示，然后将这些特征表示在某一特征层上进行融合。广泛应用于图像分类、语音识别、情感分析等多模态任务中。
三、目标级融合（Decision-Level Fusion）：
目标级融合是在各单模态模型决策后，将预测结果进行整合以得出最终决策，适用于多模型预测结果综合的场景，如多传感器数据融合、多专家意见综合等。
什么是跨模态对齐（MultiModal Alignment）？
1. 按对齐目标分类
（1）语义对齐（Semantic Alignment）
- 定义：对齐不同模态在语义层面的表示，使得具有相同语义的内容在不同模态中具有相似的表示。
- 特点：
- 关注模态之间的语义相似性。
- 通常通过共享语义空间或对比学习实现。
- 应用：图文匹配、图文检索。
- 示例：一张图片中的“猫”与文本描述“a cat”在语义空间中对齐。
（2）时序对齐（Temporal Alignment）
- 定义：对齐不同模态在时间维度上的信息，确保它们在时间上的同步。
- 特点：
- 常用于动态模态（如视频、音频）与文本之间的对齐。
- 需要处理模态间的时间尺度差异。
- 应用：视频字幕生成、视频问答。
- 示例：视频中的某一帧与对应的语音或文本描述对齐。
（3）结构对齐（Structural Alignment）
- 定义：对齐不同模态中更高层次的结构化信息，如对象、关系或场景。
- 特点：
- 不仅关注单一元素，还关注模态中的关系或上下文。
- 需要建模复杂的模态间关系。
- 应用：视觉问答、场景理解。
- 示例：图片中两个物体“猫”与“桌子”的空间关系（如“猫在桌子上”）与文本描述对齐。
2. 按对齐方式分类
（1）显式对齐（Explicit Alignment）
- 定义：通过明确的监督信号或标签（如配对数据）进行对齐。
- 特点：
- 需要大量标注数据。
- 对齐过程直接依赖于明确的映射关系。
- 应用：图文配对、视频-文本配对。
- 示例：通过标注数据对图片和文本描述进行配对。
（2）隐式对齐（Implicit Alignment）
- 定义：通过无监督或弱监督的方式，隐式地对齐模态间的表示。
- 特点：
- 无需明确的标签或配对信息。
- 通常通过对比学习实现，例如CLIP，这是一种弱标签。
- 应用：跨模态检索、无监督多模态学习。
- 示例：通过对比学习让图片和文本自然对齐，而无需明确的配对标签。
3. 按对齐技术分类
（1）基于共享空间的对齐
- 定义：将不同模态的特征映射到一个共享的表示空间中进行对齐。
- 特点：
- 通过神经网络学习一个公共空间。
- 模态间的距离度量直接在共享空间中完成。
- 应用：图文检索、跨模态生成。
- 示例：利用对比学习，将图片和文本映射到同一个嵌入空间。
（2）基于注意力机制的对齐
- 定义：利用注意力机制捕捉模态间的相关性并进行对齐。
- 特点：
- 动态关注模态间的关键部分。
- 可用于局部对齐或全局对齐。
- 应用：视觉问答、图文生成。
- 示例：通过注意力机制对齐图片中的局部区域与文本中的关键词。
（3）基于生成模型的对齐
- 定义：通过生成一个模态的表示来对齐另一个模态。
- 特点：
- 生成的模态表示与目标模态一致。
- 可用于无监督对齐。
- 应用：跨模态生成、模态转换。
- 示例：利用生成对抗网络（GAN）将图片生成对应的文本描述。
一文搞懂多模态学习（多模态融合 + 跨模态对齐）