重大更新！基于VMD+Transformer-BiLSTM-CrossAttention 故障分类模型

往期精彩内容：

Python轴承故障诊断 (14)高创新故障识别模型-CSDN博客

独家原创 | SCI 1区 高创新轴承故障诊断模型！-CSDN博客

基于 GADF+Swin-CNN-GAM 的高创新轴承故障诊断模型-CSDN博客

Python轴承故障诊断 (19)基于Transformer-BiLSTM的创新诊断模型-CSDN博客

Python轴承故障诊断 (20)高创新故障识别模型（三）-CSDN博客

视觉顶会论文 | 基于Swin Transformer的轴承故障诊断-CSDN博客

Python轴承故障诊断 | 多尺度特征交叉注意力融合模型-CSDN博客

SHAP 模型可视化 + 参数搜索策略在轴承故障诊断中的应用-CSDN博客

速发论文 | 基于 2D-SWinTransformer+1D-CNN-SENet并行故障诊断模型-CSDN博客

Python轴承故障诊断 (21)基于VMD-CNN-BiTCN的创新诊断模型-CSDN博客

1DCNN-2DResNet并行故障诊断模型-CSDN博客

基于改进1D-VGG模型的轴承故障诊断和t-SNE可视化-CSDN博客

基于K-NN + GCN的轴承故障诊断模型-CSDN博客

故障诊断 | 创新模型更新：基于SSA-CNN-Transformer诊断模型-CSDN博客

独家首发 | 基于 2D-SwinTransformer + BiGRU-GlobalAttention的并行故障诊断模型-CSDN博客

位置编码祛魅 | 详解Transformer中位置编码Positional Encoding-CSDN博客

创新点 | 基于快速傅里叶卷积（FFC） 的故障诊断模型-CSDN博客

代码开源! | 变工况下的域对抗图卷积网络故障诊断-CSDN博客

超强 ！顶会创新融合！基于 2D-SWinTransformer 的并行分类网络-CSDN博客

多模态-故障诊断 | 大核卷积开启视觉新纪元!-CSDN博客

超强！一区直接写！基于SSA+Informer-SENet故障诊断模型-CSDN博客

Transformer结构优势 ,How Much Attention Do You Need?-CSDN博客

故障诊断 | 一个小创新：特征提取+KAN分类-CSDN博客

故障诊断 | 信号降噪算法合集-CSDN博客

图卷积故障诊断，新增GAT、SGCN、GIN分类模型-CSDN博客

不能错过！故障诊断+时频图像分类大更新！-CSDN博客

智能故障诊断和寿命预测期刊推荐-CSDN博客

故障诊断一区直接写，图卷积+BiGRU-Attention 并行诊断模型-CSDN博客

故障诊断高创新！基于1D-GRU+2D-MTF-ResNet-CBAM的多模态融合分类模型_基于1dcnn-informer+matt融合的故障诊断模型-CSDN博客

创新首发！ | 基于1DCNN-Informer+MATT融合的故障诊断模型_论文复现基于 1dcnn bilstm 的航空发动机故障分类研究-CSDN博客

轴承故障特征—SHAP 模型 3D 可视化_shap值溯源模型-CSDN博客

时频图像/多模态+顶会论文创新，故障诊断发文不是梦！-CSDN博客

江南大学轴承故障诊断教程+1DVGG-6种注意力机制合集！-CSDN博客

轴承寿命预测全家桶更新！新增西交XJTU-SY数据集+预测模型合集_hxd3b 型电力机车轴承寿命预测实例中,一张该模型预测结果-CSDN博客

最强更新！西储大学（CWRU）轴承数据集保姆级教程！-CSDN博客

故障诊断 SCI 1 区直接写！基于GADF+SwinTransformer-CBAM+GRU的多模态融合分类模型-CSDN博客

故障诊断模型评估——混淆矩阵，如何使样本量一致（上）-CSDN博客

PHM2012 - 基于 Python 的轴承寿命预测模型

故障诊断模型评估——你了解混淆矩阵吗？（下）

模型简介

注意：本模型继续加入 轴承故障—交叉注意力创新模型全家桶 中，之前购买的同学请及时更新下载!

● 数据集：CWRU西储大学轴承数据集 

● 环境框架：python 3.9  pytorch 2.1 及其以上版本均可运行

● 准确率：测试集99%

● 使用对象：论文需求、毕业设计需求者

● 代码保证：代码注释详细、即拿即可跑通。

全网最低价，创新网络分类效果显著，模型能够充分提取轴承故障信号的空间、时序特征和频域特征，收敛速度快，性能优越, 精度高。创新度也有！！！高性价比、高质量代码，大家可以了解一下：（所有全家桶模型会不断加入新的模型进行更新！后续会逐渐提高价格，越早购买性价比越高！！！）

注意：我们还有配套的模型讲解（方便学习网络结构）和参数调节讲解！有毕业设计或者发小论文需求的同学必看，模块丰富，创新度高，性能优越！！

前言

本文基于凯斯西储大学（CWRU）轴承数据，利用 VMD 将复杂信号分解为多个本征模态函数（IMFs），从而将原始信号转化为更简单的子信号，最后通过Python实现基于交叉注意力Transformer-BiLSTM-CrossAttention的特征融合模型对故障数据的分类。凯斯西储大学轴承数据的详细介绍可以参考下文：

Python-凯斯西储大学（CWRU）轴承数据解读与分类处理

1 模型整体结构

1.1 模型整体结构如下所示：

将原始一维故障信号进行变分模态分解。VMD将信号分解为一组本征模态函数（IMFs），这些函数代表了信号在不同频率尺度上的特征。VMD的优点在于其自适应性和对非平稳信号的处理能力，使得分解后的信号更易于特征提取。通过Transformer-BiLSTM网络提取全局、局部时序特征，最后通过使用交叉注意力机制融合时序特征。可以通过计算注意力权重，使得模型更关注重要的特征，提高模型性能和泛化能力。

1.2 创新点详细介绍：

（1）多模态特征提取：通过VMD分解，模型能够从不同模态的信号中提取特征，减少冗余信息，提高特征的有效性；

（2）结合Transformer和BiLSTM：结合Transformer的全局特征提取能力和BiLSTM的时序特征提取能力，模型能够更全面地捕获信号的复杂特征：

• Transformer：擅长于捕获长距离依赖关系和时序信息。Transformer的多头注意力机制能够有效地提取信号中的全局特征

• BiLSTM（双向长短期记忆网络）：通过同时利用前向和后向的LSTM单元，BiLSTM能够捕获信号的双向时序依赖性，增强特征提取的能力

（3）CrossAttention进行特征融合：利用交叉注意力进行时序特征的融合，能够有效地整合来自不同特征提取器的信息，提高分类的准确性。

2 轴承故障数据的预处理

2.1 导入数据

参考之前的文章，进行故障10分类的预处理，凯斯西储大学轴承数据10分类数据集：

train_set、val_set、test_set 均为按照7：2：1划分训练集、验证集、测试集，最后保存数据

2.2 故障VMD分解可视化

2.3 故障数据的特征预处理数据集制作

3 交叉注意力机制

3.1 Cross attention概念

• Transformer架构中混合两种不同嵌入序列的注意机制

• 两个序列必须具有相同的维度

• 两个序列可以是不同的模式形态（如：文本、声音、图像）

• 一个序列作为输入的Q，定义了输出的序列长度，另一个序列提供输入的K&V

3.2 Cross-attention算法 

• 拥有两个序列S1、S2

• 计算S1的K、V

• 计算S2的Q

• 根据K和Q计算注意力矩阵

• 将V应用于注意力矩阵

• 输出的序列长度与S2一致

在融合过程中，我们将经过Transformer的全局时序特征作为查询序列，BiLSTM输出的局部时序特征作为键值对序列。通过计算查询序列与键值对序列之间的注意力权重，我们可以对不同特征之间的关联程度进行建模。

4 基于VMD+Transformer-BiLSTM-CrossAttention的轴承故障诊断分类

4.1 设置参数，训练模型

50个epoch，准确率99%，用VMD+Transformer-BiLSTM-CrossAttention网络分类效果显著，创新模型能够充分提取轴承故障信号的时序特征，收敛速度快，性能优越，精度高，交叉注意力机制能够对不同特征之间的关联程度进行建模，从故障信号特征中提取出对模型识别重要的特征，效果明显，创新度高!

4.2 模型评估

（1）准确率、精确率、召回率、F1 Score

（2）故障十分类混淆矩阵：

（3）分类标签可视化

（4）原始数据 t-SNE特征可视化

（5）模型训练后的 t-SNE特征可视化：

5 代码、数据整理如下：

点击下方卡片获取代码！