【Pytorch✨】LSTM03 三大门
1. LSTM 的“记事本”逻辑
LSTM 有一个 细胞状态(Cell State),可以理解为一本长期保存信息的“记事本”。
这本记事本每一步都会经过三个守门员:
遗忘门(Forget Gate) → 决定要把记事本里的哪些旧内容划掉
输入门(Input Gate) → 决定要往记事本里写哪些新内容
输出门(Output Gate) → 决定要把记事本里的哪些内容告诉外面的人(输出)
2. 三个门的作用
① 遗忘门(Forget Gate)
作用:选择性地“忘掉”旧记忆
类比:记事本里的旧信息有些已经过时了,遗忘门会用橡皮擦掉它们
公式:
f_t
的值在 0~1 之间,0 表示完全忘记,1 表示完全保留
② 输入门(Input Gate)
-
作用:决定哪些新信息要写进记事本
-
类比:新的事情发生了,输入门会决定把哪些写下来,并忽略不重要的
-
公式:
生成新的候选内容:
最终更新记事本:
③ 输出门(Output Gate)
-
作用:决定当前要输出多少记事本里的内容
-
类比:你不可能把记事本里的所有细节都告诉别人,只挑重要的说
-
公式:
计算输出:
3. 总结成一句话
遗忘门:不重要的过去,忘掉!
输入门:重要的新事,记住!
输出门:现在该告诉外面的人什么?