网页与网站建设seo优化推广
1 Rnn
RNN(Recurrent Neural Network),中文称作循环神经网络,它一般以序列数据为输入,通过网络内部的结构段计有效捕捉序列之间的关系特征,一般也是以序列形式进行输出.
单层网络结构 在循环
rnn处理的过程
rnn类别
n - n
n - 1 使用sigmoid 或者softmax处理 应用在分类中
1- n x作用于每一个输入 图片生成文字
n - M 
2传统rnn
内部结构
优缺点 :
计算资源的要求低,短序列表现优异.
缺点 长序列的关联时表现很差,在反向传播时候 梯度消失或者爆炸
2 lstm
能够有效捕捉长序列之间的语义关联,缓解梯度消失或爆炸现象.同时LSTM的结构更复杂,它的核心结构可以分为四个部分去解析: 输入门 遗忘门 输出们 细胞状态 .
遗忘门 代表遗忘过去的多少信息sigmiod
2.1 BI -LSTM
import torch.nn as nn
import torchlstm = nn.LSTM(input_size=6, hidden_size=8, num_layers=2)输入的词数量 每次处理样本的数量 维度
input = torch.randn(2,3,6)# 层数 处理样本数 维度
h0 = torch.randn(2,3,8)
c0 = torch.randn(2,3,8)output,(h1,c1) = lstm(input,(h0,c0))
print(output,h1,c1)
input 和 h0 的批量大小（batch_size）必须相同。
3GRU 门控循环单元
GRU(Gated Recurrent Unit)也称门控循环单元结构,它也是传统RNN的变体,
优点: 同LSTM一样能够有效捕捉长序列之间的语义关联,缓解梯度消失或爆炸现象,同时它的结构和计算要比LSTM更简单,它的核心结构可以分为两个部分去解析:
。更新门z
。重置门 r
缺点 : 与rnn相同不能并行计算
import torch.nn as nn
import torch
gru = nn.GRU(5,8,1)
input = torch.randn(2,5,5)
h1= torch.randn(1,5,8)
output,h0 = gru(input,h1)4注意力机制
注意力:在判断一个问题时,我们直接将注意力去放在具有辨识度的部分上面进行判断,不是全部都看一遍.
注意力机制:指的是用注意力计算规则应用于深度学习网络载体.
在nlp种 注意力机制大多应用与seq2seq(编码器解码器模型)
q k v 计算的三步
query 和 key 进行相似度计算，得到一个query 和 key 相关性的分值将
这个分值进行归一化(softmax)，得到一个注意力的分布使用注意力分布
value 进行计算，得到一个融合注意力的更好的 value 值