CMU与谷歌提出FM-SIREN：受奈奎斯特定理启发，让神经元“各司其职”，特征冗余降低50%

近年来，隐式神经表示（Implicit Neural Representations, INR）技术大放异彩，特别是像NeRF这样能够用一个小小的神经网络来表示复杂三维场景的方法，让大家惊叹不已。在这些方法背后，有一类基于周期激活函数（比如sin函数）的INR网络，如SIREN和FINER，它们在表示高频细节方面表现出色。

然而，这些看似强大的网络内部却存在着一个“浪费”的问题——特征冗余。简单来说，同一层网络里的很多神经元，其实在干着重复的活儿。这极大地限制了网络的表达能力。

最近，来自卡内基梅隆大学（CMU）和谷歌的研究者们，从经典的信号处理理论中汲取灵感，提出了一个简单而又极其有效的改进方法。在他们的新论文 《FM-SIREN & FM-FINER: Nyquist-Informed Frequency Multiplier for Implicit Neural Representation with Periodic Activation》 中，他们介绍了一种全新的频率分配策略，让每个神经元都能“各司其职”，从而将特征冗余降低了近 50%！

• 论文标题: FM-SIREN & FM-FINER: Nyquist-Informed Frequency Multiplier for Implicit Neural Representation with Periodic Activation

• 作者: Mohammed Alsakabi, Wael Mobeirek, John M. Dolan, Ozan K. Tonguz

• 机构: 卡内基梅隆大学、谷歌

• 论文地址