RNN复兴！性能反超Transformer，训练速度提升1300倍！

在最新的顶会论文中，RNN的改进创新更是层出不穷。Bengio团队提出的minLSTM和minGRU，通过去除隐藏状态的依赖和简化门控机制，显著减少了参数量和计算量。这些模型可以使用并行扫描算法进行训练，大大加快了训练速度。例如，在T4 GPU上，对于长度为512的序列，minGRU和minLSTM的训练速度分别比传统GRU和LSTM快175倍和235倍。在序列长度为4096时，加速比达到了1300多倍。

这些改进不仅解决了传统RNN在处理长序列时遇到的问题，还可以与其他先进技术结合，进一步提高模型的性能和预测精度。我整理了11个RNN改进方案，全部论文PDF版，工中号【沃的顶会】回复“RNN”即可领取。

A Dynamic Approach to Stock Price Prediction：Comparing RNN and Mixtureof Experts Models Across Different Volatility Profiles

文章解析

本文评估了专家混合（MOE）模型在股票价格预测中的有效性，并将其与循环神经网络（RNN）和线性回归模型进行了比较。

MOE框架结合了用于波动股票的RNN和用于稳定股票的线性模型，并通过门控网络动态调整每个模型的权重。

研究结果表明，MOE方法在不同波动性特征下显著提高了预测准确性。

创新点

1.提出了一种结合RNN和线性回归的专家混合（MOE）模型，以适应不同波动性的股票价格预测。

2.通过门控网络动态调整模型权重，提高了预测的灵活性和准确性。

3.验证了MOE模型在不同波动性特征下的优越性能，特别是在减少均方误差（MSE）和平均绝对误差（MAE）方面。

研究方法

1.使用RNN模型捕捉波动股票的非线性模式，使用线性回归型预测稳定股票的趋势。

2.设计了一个门控网络，根据股票的波动性动态调整RNN和线性回归模型的权重

3.通过比较MOE模型、RNN模型和线性回归模型的预测性能，评估不同波动性特征下的预测准确性。

研究结论

1.MOE模型在不同波动性特征下显著提高了股票价格预测的准确性。

2.RNN模型有效捕捉了波动公司的非线性模式，但对稳定数据存在过拟合问题。

3.线性回归模型在可预测趋势上表现良好，但无法处理复杂的非线性关系。

4.未来的研究应集中在优化门控机制和使用实际数据集验证模型的实际应用效果。

Constructive RNNs：An Error-Recurrence Perspective on Time-Variant ZeroFinding Problem Solving Under Uncertainty

文章解析

本文从控制理论的角度提出了一种误差递归系统方法，通过在预设误差动态中引入不确定性补偿，增强了系统的鲁棒性和收敛速度。

设计了新的校正动作以实现有限时间稳定，从而提高了时变计算的准确性和收敛速度。此外，通过符号函数和光滑符号函数技术实现了有限时间内的稳定。

创新点

1.提出了基于误差递归系统的不确定性补偿方法，增强了系统的鲁棒性。

2.设计了双幂次和幂指数校正动作，分别构建了具体的模型，并给出了相应的固定时间收敛性。

3.通过符号函数和光滑符号函数技术实现了有限时间内的稳定。

4.提供了理论结果，证明了所提出的计算方案在时变二次规划问题求解中的有效性和鲁棒性。

研究方法

1.从控制理论角度提出了一种误差递归系统方法。

2.设计了双幂次和幂指数校正动作，构建了具体模型。

3.通过符号函数和光滑符号函数技术实现了有限时间内的稳定。

4.进行了理论分析，验证了模型的同定时间收敛性和鲁性。

研究结论

1.所提出的误差递归系统方法能够有效提高时变计算的准确性和收敛速度。

2.通过不确定性补偿和新型校正动作，实现了有限时间内的稳定和固定时间收敛。

3.理论结果表明，该方法在时变二次规划问题求解中具有良好的性能和鲁性。