MAMBA start!!!
多项式近似
是一种数学技术,它通过拟合一个多项式函数来近似描述一个给定的数据集或信号。在这种情况下,多项式近似用于将连续的输入信号转换为一组系数,这些系数可以有效地表示原始信号的关键特征。通过这种方式,模型可以在保持对输入信号重要信息的同时,减少存储和计算的负担。
具体到文章中提到的HiPPO(Hungry Hungry Hippo)模型,它使用正交多项式来投影历史数据,并将其转换为具有特殊初始化矩阵A和B的结构化状态空间模型(SSM)。这样,HiPPO能够在有限的内存预算内学习输入信号的特征,同时保持对长序列的有效建模能力。通过这种方法,HiPPO能够在每个时间步更新多项式的系数,从而动态地捕捉输入信号的变化,同时避免了维数爆炸的问题。
正交多项式
是一组特殊的多项式,它们的系数选择使得任意两个不同阶的多项式之间的内积为零。这种性质使得正交多项式在处理数据时具有很好的数学特性,特别是在信号处理和数据拟合中。正交多项式的一些常见例子包括勒让德多项式(Legendre polynomials)、切比雪夫多项式(Chebyshev polynomials)和傅里叶级数(Fourier series)。
在HiPPO模型中,通过将序列数据投影到正交多项式的基上,可以将数据压缩成一个系数向量,这个向量的每个元素对应于一个特定阶数的多项式系数。这样,原始的序列数据就被转换成了一个低维的表示形式,这个表示形式捕获了序列的关键特征,同时减少了存储和计算的需求。