多模态学习核心技术与典型场景对照表
多模态学习核心技术与典型场景对照表
一、模态融合技术对比
| 技术类型 | 实现方式 | 优势 | 劣势 | 典型应用场景 |
|---|---|---|---|---|
| 早期融合 (数据层/特征层) | 原始数据或低层特征直接拼接，共享统一编码器 | 模态间交互早，模型简单，计算高效 | 模态信息损失，难以捕捉复杂交互 | 图像描述生成：图像与文本需紧密结合 视觉问答(VQA)：图片与问题需同步理解 |
| 中期融合 (特征层) | 各模态独立提取特征，在模型中间层融合 | 保留模态特性，灵活控制融合粒度 | 实现复杂，需设计专门融合机制 | 多模态情感分析：文本+语音+表情 跨模态检索：文本查图/图查文本 |
| 晚期融合 (决策层) | 各模态独立建模至决策阶段，结果加权/投票整合 | 模态独立性强，容错性高，便于集成现有模型 |