李宏毅机器学习笔记24

目录

摘要

Transformer代码部分理解

---

 

 

 

摘要

本篇文章继续学习李宏毅老师2025春季机器学习课程，学习内容是transformer的代码部分，通过代码帮助理解transformer。

 

Transformer代码部分理解

首先复习一下transformer的整体结构，如下图所示

先看下面这张图左下角“我爱你”为encoder的输入，右下角的“S I LOVE YOU”为decoder的输入，

右上角的“I LOVE YOU E”为真实的标签（答案）。用于计算decoder输出的损失。

下图的代码部分与上图对应起来

就是这样

其中的特殊字符“S”表示开始信号，“E”表示END信号，“P”为填充字符，即不足最大长度的部分用“P”填充。参考下图的例子。

模型的相关参数如下，512为字符转换为embedding的大小，前馈神经网络映射维度为2048，K,V维度为64，encoder和decoder的个数，multi-head的head数为8。

encoder部分代码

src_emb对应词表功能

通过词表将字符转化为向量

对于位置编码，基本公式如下图，对奇数偶数的位置不同也有不同的公式，pos为位置，例如维度为512时，pos为0-511之中的一个数。

位置编码对应实现代码如下图，div_term实现的是公式中共有的部分。最后的forward部分对应词向量与位置编码相加。

需要注意的是，下图的函数获取pad字符的位置。

为什么需要知道pad字符的位置？在下图的例子中，这个图可理解为两个字之间的相似性，pad符号原本是句子不存在的，所有在计算分数时应该去掉pad。

如何获取位置？使用一个符号矩阵，1表示为pad字符。

具体实现代码如下

实现encoder的具体函数，一个实现前馈神经网络，一个实现多头自注意力层。

多头自注意力层如下,其中Q,K矩阵维度相同。

decoder部分代码，decoder与encoder类似。

差别的地方在自注意力层的masked，实现时其实就是一个上三角矩阵，为1时就表示为pad，即被去除，所以在输入S时，只能看见S看不到“卷”，在输入S和“卷”时，只能看见S和“卷”看不到“起”。