当前位置：首页 > news >正文

Informer 预测模型合集：新增特征重要性分析！

news 来源：原创 2025/5/7 6:40:54

往期精彩内容：

单步预测-风速预测模型代码全家桶-CSDN博客

半天入门！锂电池剩余寿命预测（Python）-CSDN博客

超强预测模型：二次分解-组合预测-CSDN博客

VMD + CEEMDAN 二次分解，BiLSTM-Attention预测模型-CSDN博客

超强预测算法：XGBoost预测模型-CSDN博客

基于麻雀优化算法SSA的预测模型——代码全家桶-CSDN博客

VMD + CEEMDAN 二次分解，CNN-Transformer预测模型-CSDN博客

独家原创 | SCI 1区高创新预测模型！-CSDN博客

风速预测（八）VMD-CNN-Transformer预测模型-CSDN博客

高创新 | CEEMDAN + SSA-TCN-BiLSTM-Attention预测模型-CSDN博客

VMD + CEEMDAN 二次分解，Transformer-BiGRU预测模型-CSDN博客

独家原创 | 基于TCN-SENet +BiGRU-GlobalAttention并行预测模型-CSDN博客

VMD + CEEMDAN 二次分解——创新预测模型合集-CSDN博客

独家原创 | BiTCN-BiGRU-CrossAttention融合时空特征的高创新预测模型-CSDN博客

CEEMDAN +组合预测模型(CNN-Transfromer + XGBoost)-CSDN博客

时空特征融合的BiTCN-Transformer并行预测模型-CSDN博客

独家首发 | 基于多级注意力机制的并行预测模型-CSDN博客

独家原创 | CEEMDAN-CNN-GRU-GlobalAttention + XGBoost组合预测-CSDN博客

多步预测系列 | LSTM、CNN、Transformer、TCN、串行、并行模型集合-CSDN博客

独家原创 | CEEMDAN-Transformer-BiLSTM并行 + XGBoost组合预测-CSDN博客

涨点创新 | 基于 Informer-LSTM的并行预测模型-CSDN博客

独家原创 | 基于 Informer + TCN-SENet的并行预测模型-CSDN博客

即插即用 | 时间编码+LSTM+全局注意力-CSDN博客

粉丝福利 | 再添 Seq2Seq 多步预测模型-CSDN博客

暴力涨点！ | 基于 Informer+BiGRU-GlobalAttention的并行预测模型-CSDN博客

热点创新 | 基于 KANConv-GRU并行的多步预测模型-CSDN博客

重大更新！锂电池剩余寿命预测新增 CALCE 数据集_calce数据集-CSDN博客

基于 VMD滚动分解+Transformer-GRU并行的锂电池剩余寿命预测模型

前言

本期我们更新 Informer 相关预测模型合集，增添关于特征重要性的分析：

1 基于Informer-LSTM的并行预测模型

原文介绍：

涨点创新 | 基于 Informer-LSTM的并行预测模型_基于informer成熟的功率预测的开源模型有那些, 可以直接传气象数据就可以用的-CSDN博客

风电功率数据集特征分析—可视化：

2 基于Informer + TCN-SENet的并行预测模型

原文介绍：

独家原创 | 基于 Informer + TCN-SENet的并行预测模型-CSDN博客

风电功率数据集特征分析—可视化：

3 基于Informer+BiGRU-GAtt的并行预测模型

原文介绍：

暴力涨点！ | 基于 Informer+BiGRU-GlobalAttention的并行预测模型_+informer++视觉架构图-CSDN博客

电力变压器数据集特征分析—可视化：

4 基于VMD滚动分解 + Informer-BiLSTM的预测模型

原文介绍：

拒绝信息泄露！VMD滚动分解 + Informer-BiLSTM并行预测模型_vmd加lstm会造成数据泄露吗-CSDN博客

风电功率数据集+VMD分解特征分析—可视化：

5 Informer 详解，三大创新点

5.1 概率稀疏注意力机制（ProbSparse Self-attention）

概率稀疏自注意力是Informer模型中引入的一种稀疏自注意力机制。其核心思想是通过概率方法选择最重要的一部分注意力权重进行计算，而忽略那些对结果影响较小的权重。这种方法能够显著降低计算复杂度，同时保持较高的模型性能。

稀疏自注意力：不同于标准 Transformer 的密集自注意力机制，Informer 引入了 ProbSparse Self-attention，通过概率抽样机制选择重要的 Q-K 对进行计算，减少了计算复杂度。
效率提升：稀疏注意力机制显著降低了计算复杂度，从 O(L2⋅d) 降低到 O(L⋅log(L)⋅d)，其中 L 是序列长度，d 是每个时间步的特征维度。

5.2 多尺度特征提取-信息蒸馏

Informer的架构图并没有像Transformer一样在Encoder的左边标注来表示N个Encoder的堆叠，而是一大一小两个梯形。横向看完单个Encoder（也就是架构图中左边的大梯形，是整个输入序列的主堆栈）。

Encoder的作用是Self-attention Distilling，由于ProbSparse自相关机制有很多都是用V的mean填充的，所以天然就存在冗余的attention sorce ,因此在相邻的Attention Block之间应用卷积与池化来对特征进行下采样，所以作者在设计Encoder时，采用蒸馏的操作不断抽取重点特征，从而得到值得重点关注的特征图。