short-term memory 和long-term memtory有什么区别
在这张图所展示的智能体(Agent)架构中,短期记忆(Short - term memory) 和 长期记忆(Long - term memory) 主要在存储内容、作用时长和功能定位上存在区别,具体如下:
存储内容
- 短期记忆(Trajectory):存储的是智能体在与环境交互过程中,相对近期的行动轨迹(Trajectory)。例如,智能体刚刚执行的一系列动作、从环境中获取的即时观察(Obs)以及对应的反馈(Reward)等短期的交互信息。
- 长期记忆(Experience):存储的是经过自我反思(Self - reflection)模块处理后生成的反思文本(Reflective text)。这些内容是对智能体过往多次与环境交互经验的总结、提炼,包含了对成功或失败案例的分析、经验教训等长期的知识。
作用时长
- 短期记忆:主要服务于智能体当前正在进行的单次任务或短时间内的交互过程,随着任务的推进或新的交互发生,旧的短期记忆内容会被新的轨迹信息覆盖,作用时长较短。
- 长期记忆:能够在较长时间内保存,用于指导智能体未来的任务执行。它不会因为单次任务的结束而轻易丢失,是智能体长期学习和积累的结果,作用时长较长。
功能定位
- 短期记忆:为评估器(Evaluator)提供即时的交互数据,帮助评估器对智能体当前的行为进行评估,进而为智能体当前的决策提供支持,侧重于当下的决策辅助。
- 长期记忆:为行动者(Actor)提供历史经验和知识,帮助行动者在制定策略、执行动作时,借鉴过往的经验,避免重复犯错或利用成功经验,侧重于长期的学习和策略优化。