基于模态特定因子的高效低秩多模态融合方法解析
内容摘要
本文提出了一种基于模态特定因子的高效低秩多模态融合方法（LMF），旨在解决传统张量融合方法中维度和计算复杂度呈指数级增长的问题。通过将权重张量分解为模态特定的低秩因子，LMF实现了线性复杂度的多模态融合，并在三个基准数据集上取得了优于或 comparable to state-of-the-art 的结果。实验表明，LMF在保持性能的同时，参数数量减少了 90%，训练速度提升了 3 倍。
关键词：多模态融合；低秩张量分解；模态特定因子；计算效率
1. 引言
多模态数据融合是人工智能领域的核心问题之一，广泛应用于情感分析、语音识别、图像理解等任务。传统方法（如张量融合网络 TFN）通过外积操作捕捉模态间交互，但面临维度灾难和计算复杂度指数级增长的挑战。本文介绍的 Low-rank Multimodal Fusion (LMF) 方法通过低秩张量分解和模态特定因子，将复杂度从指数级降低到线性级，同时保持了 competitive 的性能。多模态数据融合是人工智能领域的核心问题之一，广泛应用于情感分析、语音识别、图像理解等任务。传统方法（如张量融合网络 TFN）通过外积操作捕捉模态间交互，但面临维度灾难和计算复杂度指数级增长的挑战。本文介绍的 Low-rank Multimodal Fusion (LMF) 方法通过低秩张量分解和模态特定因子，将复杂度从指数级降低到线性级，同时保持了 competitive 的性能。
2. 核心方法：低秩多模态融合 (LMF)
2.1 问题建模
多模态融合可视为多线性函数：
f
:
V
1
×
V
2
×
⋯
×
V
M
→
H
f: V_1 \times V_2 \times \dots \times V_M \rightarrow H
f:V1×V2×⋯×VM→H
其中
V
m
V_m
Vm 是模态
m
m
m 的向量空间，
H
H
H 是输出空间。目标是将
M
M
M 个单模态表示
{
z
m
}
\{z_m\}
{zm} 融合为紧凑的多模态表示。
2.2 张量融合的局限性
传统方法通过外积生成高维张量：
Z
=
⨂
m
=
1
M
z
m
\mathcal{Z} = \bigotimes_{m=1}^M z_m
Z=m=1⨂Mzm
随后通过线性层：
h
=
W
⋅
Z
+
b
h = \mathcal{W} \cdot \mathcal{Z} + b
h=W⋅Z+b
但张量维度
∏
m
=
1
M
d
m
\prod_{m=1}^M d_m
∏m=1Mdm 和参数数量均呈指数增长，导致计算不可行。
2.3 低秩权重分解
LMF 将权重张量
W
\mathcal{W}
W 分解为
M
M
M 组模态特定因子：
W
=
∑
i
=
1
r
⨂
m
=
1
M
w
m
(
i
)
\mathcal{W} = \sum_{i=1}^r \bigotimes_{m=1}^M w_m^{(i)}
W=i=1∑rm=1⨂Mwm(i)
其中
w
m
(
i
)
w_m^{(i)}
wm(i) 是模态
m
m
m 的低秩因子，
r
r
r 是秩参数。通过这种分解，模型参数从
O
(
∏
d
m
)
O(\prod d_m)
O(∏dm) 降至
O
(
r
∑
d
m
)
O(r \sum d_m)
O(r∑dm)。
2.4 高效融合计算
利用张量
Z
\mathcal{Z}
Z 和
W
\mathcal{W}
W 的并行分解，LMF 避免显式构建高维张量：
h
=
⋀
m
=
1
M
[
∑
i
=
1
r
w
m
(
i
)
⋅
z
m
]
h = \bigwedge_{m=1}^M \left[ \sum_{i=1}^r w_m^{(i)} \cdot z_m \right]
h=m=1⋀M[i=1∑rwm(i)⋅zm]
其中
⋀
\bigwedge
⋀ 表示逐元素乘积。该式将计算复杂度从
O
(
d
y
∏
d
m
)
O(d_y \prod d_m)
O(dy∏dm) 降至
O
(
d
y
r
∑
d
m
)
O(d_y r \sum d_m)
O(dyr∑dm)。
3. 实验与结果
3.1 数据集
- CMU-MOSI：多模态情感分析（文本、视觉、声学）。
- IEMOCAP：情感识别（愤怒、快乐等 9 类）。
- POM：说话人特质分析（自信、可信等 16 类）。
3.2 实验设置
- 基线模型：SVM、TFN、MFN、MARN 等。
- 评估指标：F1 分数、准确率、MAE、皮尔逊相关系数。
3.3 关键结果
3.3.1 性能对比
| 模型 | CMU-MOSI (情感分析) | IEMOCAP (情感识别) | POM (特质分析) | ||||
|---|---|---|---|---|---|---|---|
| MAE | Corr | Acc | F1 (Happy) | F1 (Neutral) | Corr | Acc | |
| TFN | 0.970 | 0.633 | 73.9 | 83.6 | 65.4 | 0.093 | 31.6 |
| LMF | 0.912 | 0.668 | 76.4 | 85.8 | 71.7 | 0.396 | 42.8 |
3.3.2 复杂度分析
| 模型 | 参数数量 | 训练速度 (IPS) | 测试速度 (IPS) |
|---|---|---|---|
| TFN | 12.5M | 340.74 | 1177.17 |
| LMF | 1.1M | 1134.82 | 2249.90 |
4. 关键创新点
- 模态特定因子分解：将权重张量分解为模态相关的低秩因子，避免冗余参数。
- 线性复杂度：时间和空间复杂度随模态数量线性增长，适用于高维多模态场景。
- 端到端训练：通过可微操作实现参数优化，支持多任务学习。
5. 应用场景
- 多模态情感分析：结合文本、语音、表情识别用户情绪。
- 跨模态检索：通过融合图像和文本特征提升检索精度。
- 自动驾驶感知：融合视觉、雷达、激光数据进行环境建模。
6. 总结与展望
LMF 通过低秩张量分解和模态特定因子，在保证性能的同时大幅降低了计算复杂度。未来方向包括：
- 探索低秩张量在注意力机制中的应用。
- 扩展到动态多模态数据（如视频流）。
- 结合轻量化网络（如 Transformer）进一步优化效率。