RNN为什么不适合大语言模型

在自然语言处理（NLP）领域中，循环神经网络（RNN）及衍生架构（如LSTM）采用序列依序计算的模式，这种模式之所以“限制了计算机并行计算能力”，核心原因在于其时序依赖的特性：

1. 序列依序计算的本质

RNN/LSTM处理序列数据（如句子）时，每个时刻的计算依赖于前一时刻的隐藏状态。例如，处理句子“我爱自然语言处理”时，需按“我→爱→自然→语言→处理”的顺序依次计算，每个时刻的输出必须等前一时刻计算完成后才能进行。

2. 并行计算的限制原理

• 硬件并行性浪费：现代GPU/TPU等加速器擅长同时处理多个独立任务（如矩阵运算），但RNN的序列计算中，每个时刻的计算像“链条”一样环环相扣，无法将不同时刻的计算拆分成独立任务并行执行。例如，无法同时计算时刻t和时刻t+1的隐藏状态，因为时刻t+1的输入依赖于时刻t的结果。
• 内存与计算瓶颈：序列越长，依赖链越长，计算延迟越高。例如，处理长度为1000的句子时，需完成前999个时刻的计算后才能处理第1000个时刻，导致大量计算资源（如GPU核心）处于闲置状态。

3. 对比：Transformer的并行突破

Transformer架构通过自注意力机制打破了时序依赖：

• 自注意力允许模型同时计算序列中所有token的关联（如“我爱自然语言处理”中“我”与“处理”的语义关系），无需按顺序处理，可将整个序列的计算转化为矩阵乘法，充分利用GPU的并行计算能力。
• 例如，处理长度为n的序列时，Transformer的计算复杂度为O(n²)，但可通过矩阵运算一次性完成所有token的注意力权重计算，而RNN的复杂度为O(n)但必须串行执行。

总结

RNN/LSTM的序列依序计算模式如同“排队办事”，每个步骤必须等待前一步完成，导致并行计算资源无法充分利用；而Transformer通过自注意力实现“并行办公”，大幅提升了计算效率，这也是其成为现代大语言模型（LLM）核心架构的重要原因之一。