抚宁区建设局网站网站收录大幅度下降
前言
从Transformer架构提出以来，时间序列领域几乎绝大多数模型是在Transformer架构基础改进。但自注意力机制计算复杂过高，同时位置编码对时序信息表示不完全一直是问题。与之相比，线性模型有以下优势：
-
可解释性：数学形式简单直观，较清晰地展示变量之间的关系，有助于理解时间序列数据背后的动态机制。
-
计算效率：计算成本低，使其在处理大规模时间序列数据时更加高效，特别是在需要实时预测或高频率更新的场景中。
-
稳定性：线性模型通常对噪声和异常值具有一定的稳健性。能够相对较好地处理异常值和噪声问题，避免过度拟合或产生不稳定的预测结果。
因此线性时序模型一直持续产出研究，其中2022年香港中文大学的一篇论文Are Transformers Effective for Time Series Forecasting提出的DLinear和NLinear一度SOTA，其模型复杂度、计算复杂度远低于各类transformer时序模型。所以时序研究一度是打败单层线性模型就能取得SOTA的尴尬境地，本文集中汇总了四篇线性时序模型。
1
DLinear/NLinear
论文标题：Are Transformers Effective for Time Series Forecasting?（AAAI2023）
作者认为由于Transformer的自注意力机制是对称的（置换不变性），并且在计算注意力权重时不考虑序列中的位置信息，因此无法有效地捕捉时间序列中的时序依赖关系，导致时间信息的丢失。
作者据此提出一组非常简单的一层线性模型，命名为LTSF-Linear (NLinear和DLinear)。DLinear通过特定的分解方法（如移动平均核等）将原始时间序列数据分解为趋势分量和季节性分量。然后，对这两个分量分别应用一层线性模型进行学习和预测。NLinear是另一个线性模型的变体，它采用了不同的预处理方法。在九个真实数据集上的实验结果表明，LTSF-Linear出人意料地在所有情况下都优于现有的复杂Transformer-based LTSF模型，并且领先幅度很大！此外，作者还进行了全面的实证研究，探索了LTSF模型的各种设计元素对其时间关系提取能力的影响。
这篇文章出来后狠狠的处刑了各类transformer的时序模型，并且对transformer架构的时序模型提出了质疑：transformer架构真的适用于时间序列预测任务吗？
2
FITS
论文标题：FITS: MODELING TIME SERIES WITH 10k PARAME-TERS（ICLR2024）
作者提出一个轻量级时序分析模型FITS。FITS线性架构非常简洁，核心是复数值线性层，用于学习振幅缩放和相位偏移，通过在复频域中进行插值，集成低通滤波器，使其得以保留关键信息，并能达到最先进的性能水平。值得注意的是，FITS不到10k个参数，比前文的DLinear紧凑50倍，并且大约比其他主流模型小10,000倍。鉴于其在内存和计算方面的效率，FITS成为部署甚至直接在边缘设备上训练的理想选择。
3
RLinear
论文标题：Revisiting Long-term Time Series Forecasting: An Investigation on Linear Mapping
这是一篇系统对时序线性模型研究和分析，意图理解其内在工作机制、优化模型性能，提供有价值见解和思路的文章。作者探究了近期线性时序模型的内在有效性，提出了三个研究问题：（1）时间特征提取器对于长期时间序列预测是否有效？（2）线性映射在时间序列预测中有效性的潜在机制是什么？（3）线性模型的局限性是什么，以及如何改进它们？
并得出了三个关键观察结果：首先，线性映射在先前的长期时间序列预测工作中起到了至关重要的作用。其次，可逆归一化（RevIN）和通道独立（CI）对于提升整体预测性能起到了关键作用。最后，当增加输入视窗时，线性映射能够有效地捕捉时间序列中的周期性特征，并对于不同通道上的不同周期展现出鲁棒性。
4
综述分析
论文标题：An Analysis of Linear Time Series Forecasting Models
作者分析了前文提到的线性模型架构能够表达的函数集，展示了这些线性模型变种在时间序列预测中实际上是等价的，并且在功能上与标准、无约束的线性回归无法区分。证明了每个模型都可以重新解释为在适当扩展的特征集上进行的无约束线性回归，因此在使用均方损失函数时，它们都可以得到闭式解。通过实验，作者证明了模型学习到的解几乎完全相同，在72%的测试设置中，更简单的闭式解在预测性能上更胜一筹。
线性模型的大一统
线性模型在时间序列任务中一直是独特的存在，与其他领域复杂模型远领先简单模型不同，线性模型一度能够SOTA，并大幅领先基于transformer的各类时序模型。通过近期的分析文章来看，线性模型在时间序列预测中的具有一定优越性。
但是，线性模型变种在时间序列预测中的等价，以及功能上与标准、无约束的线性回归无法区分的特点，是否意味着线性模型实际的大一统呢。在未来的研究中，一下两个点是不错的方向：
1、时序模型的可解释性，线性模型天然具备良好的可解释性；
2、线性模型与其他先进技术相结合，以进一步提高预测精度和性能。
欢迎大家关注我的公众号【科学最top】，专注于时序高水平论文解读。
