ICML 2025 | TimeBridge : 巧妙化解非平稳性难题，精准预测长短结合！

本文介绍来自清华大学和深圳大学等机构的研究者在ICML 2025上发表的一项研究。

在时间序列预测领域，尤其是涉及金融投资、天气预报、交通流量预测等多个关键应用场景的多变量时间序列预测中，我们面临着一个核心挑战——数据的非平稳性。现有的方法要么消除非平稳性，要么保留非平稳性，但都未能充分解决其对短期和长期建模的不同影响。如图1，(a)保留非平稳性可以学习长期协整而导致伪回归，消除而非平稳性避免了短期伪回归但打乱了长期趋势，这使得预测任务变得异常复杂。

感兴趣的可以  [丝 xin]  我~~

更多论文姿.料【时序之心】

图1 非平稳性在长短期的表现

 

论文标题：TimeBridge: Non-Stationarity Matters for Long-term Time Series Forecasting

论文链接：https://arxiv.org/pdf/2410.04442

代码链接：https://github.com/Hank0626/TimeBridge

背景介绍

多变量时间序列预测旨在基于历史观测数据预测未来变化。然而，时间序列的非平稳性使得这一任务变得极为复杂。非平稳性会导致短期建模中出现伪回归，因为短期波动具有高度随机性和不可预测性。另一方面，非平稳性对于捕捉变量之间的长期协整关系至关重要，这些关系反映了变量随时间的共同运动或同步变化。

如图2所示，传统方法在处理非平稳性时存在两难困境：一些方法优先消除非平稳性以减少过拟合，而另一些方法则试图保留这些因素，但缺乏全面的理论框架，也未能充分解释消除非平稳性与利用其建模之间的权衡。

图2 时序模型按照依赖建模和非平稳性分类

TimeBridge

为了应对非平稳性在短期和长期建模中的双重挑战，论文提出了一个名为 TimeBridge 的新颖框架，旨在弥合非平稳性与依赖性建模之间的差距，提升长期时间序列预测的准确性。 TimeBridge 通过将输入序列分割成较小的片段，利用单整注意力（Integrated Attention）来缓解短期非平稳性并捕捉每个变量内的稳定依赖关系，同时利用协整注意力（Cointegrated Attention）保留非平稳性，以建模变量之间的长期协整关系。 TimeBridge 的整体框架如图3所示：

图3 TimeBridge的框架图

时间片嵌入（Patch Embedding）

将输入序列分割成非重叠的片段，并将每个片段映射为嵌入的 patch token，捕捉局部时序信息的同时降低模型复杂度。

单整注意力（Integrated Attention）

单整注意力的核心目标是针对每个变量内的所有 patch token 进行建模，以捕捉短期依赖关系并降低非平稳性带来的伪回归风险。 首先，对每个变量内的所有 patch token 进行归一化处理，从而消除片段内的非平稳性。

之后在平稳的数据基础上学习到片段之间的相关性，生成平稳的注意力图。注意力图中的每个元素表示一个片段与其他片段的相关性，这种相关性能够反映出短期的依赖关系。

片段下采样（Patch Downsampling）

片段下采样的主要目的是减少片段数量，同时丰富每个片段的长期信息。通过一个线性层对片段进行下采样，将原始的 N 个片段减少到 M 个片段（M < N），对片段进行聚合，保留重要的长期信息。这一过程为后续建模变量间的长期协整关系提供了基础。

协整注意力（Cointegrated Attention）

协整注意力的主要作用是保留序列的非平稳性特征，并直接建模同一时间窗口内不同变量之间的长期协整关系，即这些变量在长期趋势上的相互关联性。

实验分析

长期预测

在八个广泛使用的现实世界数据集上进行的长期预测实验表明，TimeBridge 在非平稳数据集上，与当前最先进的基于 Transformer 的 PDF、基于 CNN 的 ModernTCN 和基于 MLP 的 TimeMixer 方法相比，TimeBridge 表现优异。

图4 长期预测实验评估

短期预测

在具有复杂时空相关性的 PeMS 数据集上，TimeBridge 在短期预测任务中表现出色，证明了其在捕捉复杂时空关系方面的有效性。

图5 短期预测实验评估

金融数据预测

在具有显著短期波动性和行业间强协整关系的 CSI 500 和 S&P 500 指数上，TimeBridge 展现出卓越的性能，表明其能够捕捉金融时间序列中的短期波动和行业间的长期协整关系。

图6 股票预测实验评估

非平稳性与依赖性建模分析

如图7，保留非平稳性时，时间维度的注意力图会发散，模型关注更广泛的时段；消除非平稳性后，注意力图更集中在相邻时间步，符合时间序列的因果特性，有助于更好地捕捉短期变化和局部依赖，增强模型处理复杂时间序列数据的鲁棒性和可解释性。

去除非平稳性会缩小模型对变量间依赖关系的关注范围，而保留非平稳性则有助于捕捉更丰富多样的关系。对于具有更多通道和更强协整关系的数据集，如 Solar 和 Traffic，增加下采样 patch 可以保留长期特征，提高预测性能，但过度下采样会增加计算成本并影响小通道数据集。

图7 非平稳性和依赖建模可视化

以 Weather 数据集中的温度和露点温度为例，非平稳性可能导致模型误将远距离相似性当作因果关系。消除非平稳性可避免短期建模中的伪回归，保留非平稳性则有助于捕捉变量间的长期协整关系。

图8 天气数据集上的案例分析

结论与展望

TimeBridge为多变量时间序列预测提供了全新的解决方案，巧妙平衡了短期和长期建模中的非平稳性需求。它不仅在理论上创新，在实际应用中也验证了卓越性能。未来，TimeBridge有望在更多领域发挥潜力，为时间序列预测开辟更广阔的发展道路。