民权网站建设网址链接

基于蜣螂算法改进的LSTM分类算法

摘要：为了提高LSTM数据的分类预测准确率，对LSTM中的参数利用蜣螂搜索算法进行优化。

1.数据集

数据的来源是 UCI 数据库中的肿瘤数据。数据信息如下：

data.mat 的大小为569*32。

其中第2列为标签数据，包含两类标签。

第3列到最后一列为特征数据。

所以RF模型的数据输入维度为30;输出维度为1。

2.LSTM模型

LSTM请自行参考相关机器学习书籍。

3.基于蜣螂算法优化的RF

蜣螂搜索算法的具体原理参考博客：https://blog.csdn.net/u011835903/article/details/128280084

蜣螂算法的优化参数为 LSTM网路包含的隐藏单元数目,最大训练周期,分块尺寸,初始学习率,L2参数。适应度函数为LSTM对训练集和测试集的预测错误率，错误率越低越好。
$$finteness=errorRate[predict(train)]+errorRate[predict(test)]$$

4.测试结果

数据划分信息如下： 训练集数量为500组，测试集数量为69组

蜣螂参数设置如下：

%% 定义蜣螂优化参数
pop=10; %种群数量
Max_iteration=10; %  设定最大迭代次数
dim = 5;%维度，即LSTM网路包含的隐藏单元数目,最大训练周期,分块尺寸,初始学习率,L2参数
lb = [2,2,2,10E-5,10E-6];%下边界
ub = [200,100,30,1,1];%上边界
fobj = @(x) fun(x,inputSize,numClasses,XTrain,YTrain,XTest,YTest);

---

DBO-LSTM优化得到的最优参数为：
DBO-LSTM优化得到的隐藏单元数目为：61
DBO-LSTM优化得到的最大训练周期为：100
DBO-LSTM优化得到的BatchSize为：22
DBO-LSTM优化得到的InitialLearnRate为：0.00071093
DBO-LSTM优化得到的L2Regularization为：1.5619e-05

DBO-LSTM算法结果：
训练集准确率：0.95
测试集准确率：0.98551
LSTM算法结果：
训练集准确率：0.922
测试集准确率：0.95652

由于训练时间比教长，蜣螂的种群数量，和迭代次数设置的比较低，但是从结果来看，SSA-LSTM的结果比原始LSTM的更优。

5.Matlab代码