大语言模型怎么进行记忆的

大语言模型怎么进行记忆的

大语言模型（LLM）本身是无状态的，每次输入独立处理，但可通过以下方式实现对话记忆及长期记忆能力：

模型架构改进

• 显式记忆模块：
  • 记忆网络（Memory Networks） ：在模型里嵌入可读写的记忆单元，像键值存储 （Key - Value Memory）或动态记忆矩阵。以问答系统为例，可将常见问题及答案存储在记忆单元中，模型回答时从中检索相关信息，实现信息持久化存储和快速检索。
  • 神经图灵机（Neural Turing Machine, NTM） ：由控制器和外部记忆库组成，控制器可对记忆库进行读写操作，模仿计算机存储机制。比如在文本生成任务中，能依据之前生成内容，从记忆库中提取信息续写，增强连贯性。
  • 递归记忆层：在Transformer架构中引入长期记忆层，如Memformer 。通过递归机制，将前序对话或任务信息传递到后续处理中，实现跨对话、任务的信息传递。
• 动态记忆更