时序论文43 | WPMixer:融合小波分解的多分辨率长序列预测模型
论文标题：WPMixer: Efficient Multi-Resolution Mixing for Long-Term Time Series Forecasting
论文链接：https://arxiv.org/pdf/2412.17176
代码链接：https://github.com/TangPeiwang/PatchMLP
本文提出了WPMixer模型，该模型基于MLP，利用了patch和多分辨率小波分解的优势，能够在频域和时域中高效提取信息。具体来说，Patch能够使模型通过回顾窗口捕捉更长的历史信息，增强局部信息捕捉能力，而MLP混合则融入了全局信息。 |
研究背景
因为这篇文章是基于多层感知器（MLP）的模型，所以作者首先还是回顾了基于MLP的时序预测模型。同时作者指出了类似于TSMixer这样通过移动平均法，将多尺度时间序列分解为季节性（周期性）序列和趋势序列，然后进行混合的策略并不合适。
原因在于：1）季节性模式复杂，将信号分解为季节性数据和趋势数据不准确，比如现实世界中的时间序列数据可能会出现突然的峰值和谷值，这很难用移动平均进行分解，2）多尺度数据之间的混合可能会导致信息丢失。
为了应对这些挑战，本文提出基于小波变换和Patch的混合模型WPMixer，英文缩写是这样的（Wavelet Patch Mixer），WPMixer 使用多级小波变换将时间序列分解为多个近似系数序列和细节系数序列。不同的分辨率分支处理每个系数序列，避免了多个系数序列混合导致的信息损失。
本文模型
WPMixer的模型架构如图1所示，模型首先通过多级小波分解将归一化的时间序列数据分解为近似系数序列和细节系数序列。这种多级分解有助于从时间序列数据中以不同分辨率提取特征，每个分辨率代表一个不同的频率级别。随着分解级别升高，近似系数的频率范围会变窄。同时会得到多个细节系数序列，它们代表了不同频率级别的详细信息。较高级别的系数序列并不总是能为预测任务提供相关信息。此外，不同的小波在时间和频率定位之间存在不同的权衡，因此，选择最优的分解级别和小波类型成为优化过程的一个关键方面。
首先，模型通过不同的分辨率分支处理每个小波系数序列，避免不同频率尺度之间的信息混合。每个分辨率分支包含：实例归一化模块、patch和嵌入模块、混合器模块、头部模块及反归一化模块。Patch和嵌入模块将归一化后的小波系数序列转换为一系列Patch。
然后，Patch混合器模块将Patch中包含的局部信息聚合到一个全局信息环境中。在混合器模块中，嵌入混合器在更高维度的空间中捕获全局信息。头部模块随后对小波系数序列进行预测，为时间序列预测提供所需信息。反归一化层用于将平稳信息重新整合到预测的小波系数序列中。
最后，多级小波重构模块利用预测的近似和细节小波系数序列来重构预测的时间序列。
本文实验
论文实验部分，作者将WPMixer模型与7种时间序列预测方法对比，在ETTh1、ETTh2等7个数据集上开展长期预测实验。结果显示，在不同回溯窗口设置和统一设置下，WPMixer在多数数据集上的MSE和MAE更低；计算效率上，其GFLOPs不到TimeMixer的十分之一；稳健性方面，标准差更低。此外，消融实验表明模型各模块重要，分解层数、损失函数和回溯窗口大小存在最优值，综合证明了WPMixer的有效性和优势。
大家可以关注我【科学最top】，第一时间follow时序高水平论文解读！！！，后台回复“交流”加入讨论群，回复“资源”获取2024年度论文讲解合集
