当前位置：首页 > news >正文

AISTATS 2025 | ChronosX：利用外生变量调整预训练时间序列模型

news 来源：原创 2025/5/25 18:18:02

论文标题：ChronosX: Adapting Pretrained Time Series Models with Exogenous Variables

作者： Sebastian Pineda Arango, Pedro Mercado, Shubham Kapoor, Abdul Fatir Ansari, Lorenzo Stella, Huibin Shen, Hugo Senetaire, Caner Turkmen, Oleksandr Shchur, Danielle C. Maddix, Michael Bohlke-Schneider, Yuyang Wang, Syama Sundar Rangapuram

机构：亚马逊（AWS），弗赖堡大学（Freiburg），丹麦技术大学（DTU）

论文链接：https://arxiv.org/abs/2503.12107

Cool Paper：https://papers.cool/arxiv/2503.12107

代码：https://github.com/amazon-science/chronos-forecasting/tree/chronosx

TL；DR：本文提出ChronosX方法，通过模块化设计将协变量整合到预训练时间序列模型中，提升预测性能。方法包括输入注入块(IIB)和输出注入块(OIB)，分别更新过去嵌入和调整未来输出，无需修改预训练模型主体。实验表明，ChronosX在合成和真实数据集上均优于基线模型，适用于Chronos、TimesFM和MOMENT等模型。

关键词：时间序列预测, 预训练模型, 协变量整合, 模块化设计, 输入注入块, 输出注入块

基本是ChronosX原班人马

🌟【紧跟前沿】“时空探索之旅”与你一起探索时空奥秘！🚀
欢迎大家关注时空探索之旅时空探索之旅在这里插入图片描述

摘要

协变量提供了影响时间序列的外部因素的宝贵信息，在许多现实世界的时间序列预测任务中至关重要。例如，在零售业中，协变量可能表示促销或高峰日期（如假期季节），这些日期对需求预测有重大影响。在对时间序列预测进行大型语言模型架构进行预训练方面的最新进展已产生了高度准确的预测器。然而，这些模型中的大多数并不容易使用协变量，因为它们通常特定于某个任务或领域。本文介绍了一种将协变量纳入预训练时间序列预测模型的新方法。提出的方法通过模块化块将协变量信息纳入预训练预测模型，这些模块化块注入了过去和未来的协变量信息，而不必修改所考虑的预训练模型。为了评估我们的方法，引入了一个由 32 个具有不同动态的不同合成数据集组成的基准，以评估具有协变量的预测模型的有效性。对合成和真实数据集的广泛评估表明，本文的方法有效地将协变量信息纳入预训练模型，优于现有基线。

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决如何将预训练的时间序列模型与外源变量（即协变量）相结合的问题。具体来说，论文提出了一个名为ChronosX的新方法，用于将协变量信息整合到预训练的时间序列预测模型中。这一方法特别适用于那些在不同任务或领域中需要适应特定协变量的时间序列预测任务。

论文提出了一种模块化的方法，通过附加两个模块（输入注入块IIB和输出注入块OIB）来将协变量信息整合到预训练模型中。IIB模块用于更新过去时间步的嵌入，而OIB模块则用于调整未来时间步的输出分布。这种方法的优点是可以在不修改预训练模型主体结构的情况下，快速适应下游任务，即使预训练模型被冻结。

Q: 有哪些相关研究？

A: 本文在时间序列预测领域，特别是在预训练模型和协变量整合方面，与以下相关研究紧密相连：

时间序列预测与预训练模型

预训练语言模型在时间序列中的应用：Ansari等人（2024）提出Chronos模型，将时间序列数据映射到固定词汇表的标记中，并基于这些标记训练语言模型架构进行时间序列预测。该研究为本文提供了将预训练语言模型应用于时间序列预测的基础思路，启发了本文在预训练模型基础上整合协变量的探索。
大规模预训练模型的训练：Woo等人（2024）提出Moirai模型，通过“any-variate attention”机制在不同变量数量的数据集上进行预训练，为处理具有不同协变量数量的数据集提供了方法。本文在Moirai的基础上，进一步研究如何将协变量有效地整合到预训练模型中，以提升模型在特定任务上的表现。
预训练模型的微调与应用：Goswami等人（2024）提出MOMENT模型，以及Das等人（2024）提出TimesFM模型，这些研究均涉及预训练模型在时间序列预测中的应用。本文通过将协变量整合到这些预训练模型中，拓展了它们的应用范围和预测能力。

协变量在时间序列预测中的作用

深度学习模型中的协变量整合：Salinas等人（2020）提出DeepAR模型，将协变量作为输入整合到RNN块中，用于时间序列预测。本文借鉴了DeepAR中协变量整合的思想，但采用了不同的模块化方法，通过输入注入块（IIB）和输出注入块（OIB）将协变量信息注入到预训练模型中。
混合专家模型中的协变量处理：Lim等人（2021）提出TFT模型，通过不同的编码网络将协变量与目标时间序列结合，并将输出结果进行拼接。本文的IIB和OIB模块在功能上与TFT中的编码网络类似，但更注重于预训练模型的适应性，通过模块化设计实现对预训练模型的快速调整。
基于注意力机制的协变量整合：Nie等人（2023）提出PatchTST模型，将时间序列转换为补丁后通过Transformer模型进行处理。本文在扩展ChronosX到其他预训练模型时，考虑了如何将协变量整合到基于补丁输入的模型中，如TimesFM，这与PatchTST中对协变量的处理方式有相似之处，但本文更侧重于预训练模型的适应性。

时间序列预测的其他相关研究

统计和机器学习方法的结合：Garza等人（2022）提出StatsForecast库，结合了统计方法和机器学习方法进行时间序列预测。本文虽然主要关注深度学习模型，但在评估过程中也考虑了与统计方法的比较，以全面评估ChronosX模型的性能。
时间序列预测的基准测试：Makridakis等人（2022）对M5竞赛中的时间序列预测结果进行分析，提供了时间序列预测领域的一个重要基准。本文在评估ChronosX模型时，参考了M5竞赛中的数据集和评估指标，以确保模型性能的评估具有可比性和实际意义。
时间序列预测的最新进展：Lago等人（2021）对时间序列预测领域的一些最新进展进行了综述，包括不同的模型架构和预测方法。本文在提出ChronosX模型时，考虑了这些最新进展，特别是在预训练模型和协变量整合方面的最新研究成果，以确保模型设计的先进性和有效性。

Q: 论文如何解决这个问题？

ChronosX

A: 论文通过提出ChronosX方法来解决如何将预训练的时间序列模型与外源变量（协变量）相结合的问题。ChronosX方法的核心在于通过两个模块化组件——输入注入块（IIB）和输出注入块（OIB）——将协变量信息整合到预训练模型中，而无需对预训练模型进行大规模的修改。这种方法不仅能够快速适应下游任务，还能在不修改预训练模型主体结构的情况下，有效地利用协变量信息来提高预测性能。

方法细节

输入注入模块（IIB）和输出注入模块(OIB)

输入注入块（IIB）

输入注入块的作用是将过去时间步的协变量信息整合到预训练模型的嵌入中。具体来说，对于每个时间步，IIB模块接收过去的协变量和对应的嵌入，并通过一个前馈网络（FFN）更新嵌入，公式如下：

$f_{\text{IIB}}(z_{t−1},x_{t−1})=h_{emb}(z_{t−1})+g_{\text{IIB}}(h_{emb}(z_{t−1}),x_{t−1})$

其中， $g_{\text{IIB}}$ 是一个包含两个线性层和ReLU激活函数的前馈网络)FFN，具体定义为：

$g_{\text{IIB}}(h_{emb}(z_{t−1}),x_{t−1})=\text{FFN}(\text{ReLU}(h_{emb}(z_{t−1})W_{\text{IIB}}^{(emb)}\oplus x_{t−1}W_{\text{IIB}}^{(cov)})$

输出注入块（OIB）

输出注入块的作用是将未来时间步的协变量信息整合到预训练模型的输出中。具体来说，对于每个时间步，OIB模块未来的协变量和最后一个隐藏状态，并通过一个前馈网络（FFN）更新嵌入，公式如下：

$f_{\text{OIB}}(z_{t−1},x_{t})=h_{out}(z_{t−1})W_{out}+g_{\text{OIB}}(h_{out}(z_{t−1}),x_{t−1})$

其中，是一个包含两个线性层和ReLU激活函数的前馈网络，具体定义为：

$g_{\text{OIB}}(h_{out}(z_{t−1}),x_{t})=\text{FFN}(\text{ReLU}(h_{}(z_{t−1})W_{\text{OIB}}^{(emb)}\oplus x_{t−1}W_{\text{OIB}}^{(cov)})$

方法优势

模块化设计：ChronosX通过模块化设计，可以在不修改预训练模型主体结构的情况下，快速适应下游任务。这种设计使得模型能够灵活地整合协变量信息，而无需对预训练模型进行大规模的重新训练。
快速适应：通过IIB和OIB模块，ChronosX可以在预训练模型的基础上快速适应新的任务，即使预训练模型被冻结。这大大减少了模型训练的时间和计算资源。
灵活性：ChronosX不仅适用于Chronos模型，还可以扩展到其他预训练模型，如TimesFM和MOMENT。这种灵活性使得ChronosX能够广泛应用于不同的时间序列预测任务。

实验验证

为了验证ChronosX方法的有效性，作者进行了广泛的实验，包括在合成数据集和真实数据集上的评估。实验结果表明，ChronosX在加权分位数损失（WQL）和平均绝对缩放误差（MASE）两个指标上均优于或接近其他基线模型，证明了其在实际应用中的有效性。

总结

ChronosX通过模块化设计，有效地将协变量信息整合到预训练的时间序列模型中，不仅提高了模型的预测性能，还保持了模型的灵活性和快速适应能力。这种方法为时间序列预测领域提供了一种新的解决方案，特别是在需要快速适应新任务和利用协变量信息的场景中。

Q: 论文做了哪些实验？

A: 论文通过一系列实验来验证ChronosX方法的有效性，这些实验涵盖了合成数据集和真实数据集，评估了模型在不同场景下的性能。以下是详细的实验设置和结果：

合成数据及生成过程

实验设置

数据集

合成数据集：作者构建了一个包含32个不同合成数据集的基准，这些数据集模拟了不同动态下的时间序列和协变量。这些数据集分为简单（Simple）和复杂（Complex）两类，每类包含16个数据集。每个数据集包含100个时间序列，时间序列长度为1827天，预测长度为30天。
真实数据集：作者在18个真实世界的数据集上进行了评估，这些数据集涵盖了零售、能源、交通等多个领域。具体数据集包括ETT（15分钟和小时级）、M5、Electricity-BE、Electricity-DE、Electricity-FR、Electricity-NP、Electricity-PJM、Bull、Cockatoo、Covid19、GFC12、GFC14、GFC17、Hog、PDB、Spain和Rideshare等。

评估指标

加权分位数损失（WQL）：衡量模型预测的量化分布与真实分布之间的差异。
平均绝对缩放误差（MASE）：衡量模型预测的绝对误差与季节性误差的比值。

基线模型

Chronos：预训练的时间序列模型，不包含协变量。
DeepAR：亚马逊提出的深度学习模型，支持协变量。
TFT：Temporal Fusion Transformer，支持协变量。
PatchTSTx：基于PatchTST的扩展模型，支持协变量。
N-HiTS：基于HiTS的扩展模型，支持协变量。
Seasonal Naive：季节性朴素模型，不支持协变量。

实验结果

合成数据集

简单数据集：ChronosX在简单数据集上的表现优于或接近其他基线模型。例如，在Simple ARP (Add)数据集上，ChronosX的WQL为0.164，而Chronos的WQL为0.166，表明ChronosX能够有效利用协变量信息。
复杂数据集：在复杂数据集上，ChronosX的表现更为显著。例如，在Diverse ARP (Add)数据集上，ChronosX的WQL为0.092，而Chronos的WQL为0.166，表明ChronosX在处理复杂动态时能够更好地利用协变量信息。

真实数据集

ETT（15分钟和小时级）：ChronosX在ETT数据集上的表现优于或接近其他基线模型。例如，在ETT (15 Min.)数据集上，ChronosX的WQL为0.022，而Chronos的WQL为0.025，表明ChronosX能够有效利用协变量信息。
M5：在M5数据集上，ChronosX的WQL为0.538，而Chronos的WQL为0.538，表明ChronosX在处理大规模零售数据时能够保持良好的性能。
Electricity-BE、Electricity-DE、Electricity-FR、Electricity-NP、Electricity-PJM：在这些电力数据集上，ChronosX的表现优于或接近其他基线模型。例如，在Electricity-PJM数据集上，ChronosX的WQL为0.059，而Chronos的WQL为0.059，表明ChronosX在处理电力需求预测时能够有效利用协变量信息。
Covid19：在Covid19数据集上，ChronosX的WQL为0.016，而Chronos的WQL为0.016，表明ChronosX在处理疫情相关数据时能够保持良好的性能。
GFC12、GFC14、GFC17：在这些全球金融数据集上，ChronosX的表现优于或接近其他基线模型。例如，在GFC17数据集上，ChronosX的WQL为0.025，而Chronos的WQL为0.025，表明ChronosX在处理金融时间序列时能够有效利用协变量信息。
Hog、PDB、Spain、Rideshare：在这些数据集上，ChronosX的表现优于或接近其他基线模型。例如，在Rideshare数据集上，ChronosX的WQL为0.177，而Chronos的WQL为0.177，表明ChronosX在处理共享出行数据时能够保持良好的性能。