【DCCN】多模态情感分析解耦交叉属性关联网络

作者指出的现有方法不足​​

1. ​​细粒度特征强化不足​​：

   • 现有跨模态交互方法（如MulT、PMR）仅关注​​模态共性交互​​（如文本与音频的共同情感），忽略了​​模态私有特征​​（如文本语法、音频频谱等特有属性）的细粒度强化，导致分类器缺乏高效证据。

2. ​​跨属性交互缺失​​：

   • 多模态表示学习方法（如MFM、MISA）虽解纠缠​​共性与差异特征​​，但未探索​​跨属性依赖​​（如情感极性、主题、语调等属性间的互补关系），限制了特征增强效果。

3. ​​动态融合机制缺乏​​：

   • 传统方法对多属性（如情感、主题）的贡献采用​​固定权重融合​​，无法适应复杂场景（如讽刺检测中语调权重要高于文本）。

---

​​作者提出的处理方法​​

1. ​​解耦多模态表示（DMR模块）​​：

   • 构建​​多模态变分自编码器​​，将每个模态特征解纠缠为：
     • ​​模态公共潜变量（zc,m​）​​：跨模态共享的全局属性（如情感极性）；
     • ​​模态私有潜变量（zp,m​）​​：单模态特有的局部属性（如文本语法、音频频谱）。
   • 通过​​专家乘积（PoE）​​学习多模态公共变量的联合分布，强化共性一致性；通过​​多模态距离相关性损失​​确保公共与私有变量独立。

2. ​​跨属性关联网络（CCN模块）​​：

   • 引入​​属性级交叉注意力机制​​，建模不同属性（如情感与主题）之间的依赖关系。
   • 示例：通过注意力权重计算情感属性与主题属性的交互强度，生成增强特征。

3. ​​自适应多属性决策融合（AMDF模块）​​：

   • 设计​​可学习门控机制​​，动态调整不同属性对分类的贡献权重：αa​=σ(Wa​[zc,ta​,zc,va