第5节 循环神经网络 RNN（Recurrent Neural Network）

之前的卷积神经网络适合处理图片信息，那文字信息怎么办呢？首先要明白，对于计算机，或者说神经网络来说，文字都是要转换为数字之后再进行处理的。那么我们要面对的第一个问题就是：如何将文字转换为数字

🔤 词编码：从文字到数字的桥梁

自然语言处理的第一步是将文字转为计算机可识别的数字，即编码。

有一种简单粗暴的方法：每一个文字或词组都用一个数字来代表，建一个非常大的映射关系表

但这样有几个显而易见的缺点，

第一，只用一个数字表示，不仅要建的表很大，维度也很低（只有一维）

第二，数字和数字之间无法表示字与字、词与词之间的联系。为了解决维度低的问题，有人提出了one-hot编码，即准备一个维度非常高的向量，每个字只有向量中一个位置是1，其余全是0。虽然维度低的问题被解决了，但是维度好像又太高了，并且依然没有解决之前的第二个问题。

那有没有能解决以上两种问题的方法呢？有的。这种方法就是词嵌入。

✨ 词嵌入：平衡维度与语义的智慧

词嵌入是更优解：通过训练生成维度适中的词向量，每个维度对应隐含特征（人类无需理解具体含义）。词向量间的相关性可通过点积或余弦相似度计算，例如“桌子-椅子≈鼠标-键盘”的神奇数学关系，体现