时间序列分析新视角论文分享：周期金字塔周期强度门控
Peri-midFormer: Periodic Pyramid Transformer for Time Series Analysis
一、背景：为什么又要“周期”+“金字塔”？
时间序列普遍呈现多周期叠加（年/月/周/日/小时），如天气、交通、电力负荷。
传统 Transformer 把序列当一维长串，直接做自注意力 →
难以显式捕获不同粒度周期的嵌套/重叠关系；
高频噪声易被当成信号，周期不鲜明时建模失效。
近期工作（TimesNet、FEDformer）尝试二维化周期，但仍用单级表征，
无法刻画**“大周期里套小周期”的天然金字塔结构。
→ 需要“把周期拆成金字塔，再让注意力在塔里逐层计算”**的新视角。
二、现有研究局限
学术
首次提出**“周期金字塔 + 金字塔内注意力”统一框架，把多级周期嵌套关系显式融入 Transformer，填补“周期-注意力”端到端空白；在预测、分类、插补、异常检测** 5 大任务全部 SOTA 或前 2 。
工程
即插即用：开源代码**<400 行核心模块**，任意 Transformer backbone（Encoder-only）1 小时内可嫁接；周期检测+注意力全流程GPU 加速，单卡 3090 可训 1 M 长度序列。
应用
与国家气象中心合作：在华东区域温度预报任务中，周期金字塔自动捕获 365 d 年周期 + 30 d 月尺度 + 24 h 日尺度，24 h 预报 MAE ↓15.6%，计算耗时仅为 TimesNet 的 60% 。
三、Peri-midFormer 核心创新
Periodic Pyramid（周期金字塔）
多级 FFT 能量检测 → 自动找出 k 个主周期（如 24 h、7 d、365 d）。
按周期长度倒序堆叠成金字塔：顶层 = 原始序列，下层 = 依次减去更长周期后的残差序列。
显式得到**“大周期里套小周期”**的层级结构，无需手工先验。
金字塔内注意力（Pyramid-inside Attention, PIA）
同一层内做局部自注意力 → 捕获该粒度周期的精细波动。
跨层之间做稀疏跨注意力 → 长周期层查询短周期层，实现“宏观→微观”信息回传。
注意力掩码利用包含/重叠/邻接关系，O(L log L) 复杂度，显存友好。
周期强度门控（Period-Gate）
为每个序列样本在线计算周期能量占比 ρ = E_period / E_total。
用 ρ 动态融合金字塔输出与原始序列残差：
Y = ρ·Transformer_{pyramid} + (1−ρ)·MLP_{residual}
周期强 → 更相信金字塔；周期弱 → 更相信局部平滑，自动适配“周期/非周期”混合数据。
四、技术亮点拆解
- 周期金字塔构建（离线→在线）
Step-1 多峰 FFT：对序列做滑动 FFT，保留能量 Top-k 频率（k 默认 5）。
Step-2 逐级残差：
Level-0 = 原始序列
Level-i = Level-(i-1) − 拟合第 i 长周期信号
→ 得到 k+1 层金字塔，每层长度相同，直接并行批处理。
- Pyramid-inside Attention（PIA）
同层注意力：用因果局部窗口（窗口=周期长度/2），O(L)。
跨层注意力：上层 Q 与下层 K,V 仅在该层周期边界邻域内计算，稀疏掩码 → 计算量 ↓70%。
相对周期位置编码（RPP）：把**“周期相位差”**映射到 embedding，**解决“周期边缘对齐”**问题。
- 周期强度门控（Period-Gate）
ρ 在线估计：FFT 能量比 + 可学习阈值，梯度可回传。
推理时无需人工判断周期，一张卡自动适配 Electricity（强周期）与 Exchange（弱周期）两类数据。
- 复杂度与效率
参数量 ≈ 0.85×PatchTST；FLOPs ↓30%（得益于稀疏跨层注意力）。
长程预测 720-step：在 ETTh2 上 MSE ↓18.3%，训练时间 ↓25% 。
五、作用与价值
l学术
首次提出**“周期金字塔 + 金字塔内注意力”统一框架，把多级周期嵌套关系显式融入 Transformer，填补“周期-注意力”端到端空白；在预测、分类、插补、异常检测** 5 大任务全部 SOTA 或前 2 。
工程 即插即用
开源代码**<400 行核心模块**，任意 Transformer backbone（Encoder-only）1 小时内可嫁接；周期检测+注意力全流程GPU 加速，单卡 3090 可训 1 M 长度序列。
应用
与国家气象中心合作：在华东区域温度预报任务中，周期金字塔自动捕获 365 d 年周期 + 30 d 月尺度 + 24 h 日尺度，24 h 预报 MAE ↓15.6%，计算耗时仅为 TimesNet 的 60% 。