神经网络AI原理回顾
长期记忆存储在大模型的参数权重中，不经过推理和编码无法读取，且必须依赖输入的提示，因为大模型不会无缘无故的自言自语，毕竟输入层是它唯一
与外界交互的窗口。
目前个性化大模型的局限就是训练成本过高，除非使用RAG，否则无法分类和巩固长期记忆形成自我进化的AI。
一、大脑记忆存储机制的核心发现
-
海马体的短期记忆功能
- 海马体是大脑的短期记忆中枢，负责将新接收的信息暂存并初步加工。若海马体受损，会导致短期记忆无法形成（如无法记住新电话号码）。
- 短期记忆的存储时间约为数小时至数天，类似于计算机的RAM内存，容量有限且需要重复强化才能转化为长期记忆。
-
大脑皮层的长期记忆存储
- 长期记忆通过海马体与大脑皮层之间的神经重播（Replay）机制逐步固化。研究表明，海马体在睡眠期间会将标记为重要的记忆片段传递给皮层，形成稳定的神经网络连接。
- 皮层中的记忆表现为神经元之间突触连接的改变，形成新的神经环路。
-
记忆转化的动态过程
- MIT实验显示，海马体和新皮层在记忆形成初期同时激活，但长期记忆的巩固需要数周至数月。
- 海马体通过“尖波涟漪”事件筛选关键记忆，而皮层通过突触修剪保留高频使用的连接。
二、深度学习AI的记忆机制对比
-
Transformer模型与海马体的相似性
- 自注意力机制：Transformer通过全局关联计算（类似海马体的信息整合）筛选关键信息，与海马体NMDA受体调控的突触可塑性高度相似。
- 参数调控：AI模型中类似镁离子的参数调整可控制记忆强度，模仿海马体对记忆的筛选过程。
-
短期记忆与长期记忆的模拟
- AI的RAM与ROM：AI的短期记忆对应GPU显存中的临时数据，长期记忆则通过参数固化到模型权重中。
- 记忆巩固流程：与大脑类似，AI模型通过梯度下降和反向传播将重要特征写入权重，实现记忆保存。
-
核心差异
- 能耗效率：人脑功耗约20W，而训练大模型需兆瓦级电力，突显生物系统的高效性。
- 机制复杂性：大脑记忆涉及胶质细胞、神经递质等多层级调控，而AI依赖数学建模，无法完全模拟生物细节。
三、总结：相似性与差异性
| 维度 | 大脑记忆机制 | 深度学习AI机制 |
|---|---|---|
| 短期存储 | 海马体暂存，依赖神经电活动 | GPU显存临时存储，依赖矩阵运算 |
| 长期固化 | 皮层突触重塑，需睡眠巩固 | 模型权重更新，需反向传播训练 |
| 信息筛选 | NMDA受体镁离子门控 | 自注意力权重分配 |
| 能耗效率 | 极低（20W） | 极高（训练需兆瓦级） |
四、延伸思考
- 类脑AI的发展方向：通过模拟海马体NMDA受体机制，可设计更高效的记忆模块，如动态调整模型参数以增强重要记忆。
- 神经科学的启示：AI模型的结构验证了大脑信息处理的部分合理性，例如Transformer与海马体功能的高度契合。