SLC跨头协作机制

SLC跨头协作机制

SLC（Self-attention with Local Communication，或类似跨头协作机制）在Transformer架构中通过以下逻辑帮助注意力头优化分布：

1. 多头注意力的「独立-协作」平衡

传统多头注意力中，每个头独立计算注意力（如Query/Key/Value的线性变换），捕捉不同语义模式（如语法、实体关系等）。SLC机制引入跨头反馈，打破完全独立的限制：

• 反馈信号：其他头的注意力权重、梯度或中间特征作为参考（例如，某头对「银行」的高关注可能提示其他头在金融场景中强化相关tokens）。
• 局部通信：通过低频交互（如摘要1中DiLoCo的「低频动量操作」），避免频繁通信开销，同时传递关键信息。

2. 动态校准注意力分布

每个头在计算自身注意力时，结合其他头的反馈进行「二次调整」：

• 冲突消解：若多个头对同一位置的注意力差异大&