循环神经网络rnn

1.了解词嵌入层的作用
2.了解循环网络层的作用

1.词嵌入层

将文本进行数值化,词嵌入层首先会根据输入的词的数量构建一个词向量矩阵，例如:我们有 100 个词，每个词希望转换成 128 维度的向量，那么构建的矩阵形状即为:100*128，输入的每个词都对应了一个该矩阵中的一个向量。

分词   去重 

构建索引列表  

构建词嵌入层 embedding(单词数量,维度)   embed(tensor) 输入为tensor

import jieba
import torch
import torch.nn as nn
from torch.onnx.symbolic_opset9 import tensor

text = '啥什尼基hi你哈是汉纳省的,啊飒飒的'

#分词
words = jieba.lcut(text)
print(words)
#['啥', '什尼基', 'hi', '你', '哈', '是', '汉', '纳省', '的', ',', '啊', '飒飒', '的']

# 构建索引表

index_toword={}
word_toindex={}

#去重 set 它是无序且唯一元素的集合。当你将一个列表 words 作为参数传递给 set() 函数时，Python 会自动去除列表中的重复元素。
unique_word=list(set(words))

for index,word in enumerate(words):
    index_toword[index]=word
    word_toindex[word]=index

# 构建词嵌入层
embed = nn.Embedding(num_embeddings=len(index_toword),embedding_dim=4)
# embed输入为tensor
print(index_toword[0])
print(embed(torch.tensor(0)))
'''
啥
tensor([-1.4100, -0.4027,  0.5297, -1.4162], grad_fn=<EmbeddingBackward0>)
'''

 2rnn

词嵌入层将文本信息转化为数字信息,然而文本信息具有序列特征(文本信息是由顺序的),为了表示序列关系,这就需要用到rnn对数据建模,rnn具有记忆功能的网络,处理带有序列特征的样本数据.

输入层的数量跟隐藏层相同  只有输入的最后一个变化  隐藏层维度不变

def test01():

    # 初始化rnn网络
    #           输入的每个单词的维度   隐藏层的大小  隐藏层神经元个数(最终输出的为维度)
    rnn = nn.RNN(input_size=128, hidden_size=256)
    # 输入的数据 当前的 隐藏层的
    #                    输入的大小   样本数量      输入的维度
    #inputs = torch.randn(seq_len=1,batch_size= 4,input_size=128)
    inputs = torch.randn(8,16,128)


    # #####输入层的数量跟隐藏层相同


    # 初始化隐藏层   层数                        维度
    #hn=torch.zeros(num_layers=1,batch_size=4,hidden_size=256)
    hn=torch.zeros(1,16,256)

    # 输入模型
    outputs,hn=rnn(inputs,hn)
    print(outputs.shape)
    print(hn.shape)
    '''
    torch.Size([8, 16, 256])
        torch.Size([1, 16, 256])
'''