东莞做网站需要多少钱网站设计制作的服务怎么样

Transformer

为了达到深入浅出的目的，学习之前明确以下几个目标：

• Transformer 是做什么的
• Transformer 的输入是什么
• Transformer 的输出是什么
• Transformer 是什么，长什么样
• Transformer 还能怎么优化

Transformer 模型整体结构分为两个主要部分：

• Encoder（编码器）部分：负责处理输入，提取表示。
• Decoder（解码器）部分：接收编码器输出并逐步生成目标输出（用于翻译等任务）。
• 每个部分由多个结构相同的子层（Layer）堆叠而成。

输入 → Encoder（N层） → 中间表示 → Decoder（N层） → 输出

Add & LayerNorm（残差连接和层归一化）

• 残差连接：帮助缓解深层网络训练中的梯度消失问题。
• LayerNorm：标准化激活值，提升训练稳定性和速度。
• 在每个子层（如注意力层和前馈层）后面都加上这一步骤。

编码器

输入表示（Input Embedding + Positional Encoding）

功能：将离散的输入序列（如词或Token）转换为连续的向量，并加入位置信息。

📌 包括两部分：

• Input Embedding：将输入 token（如词或子词）映射为固定维度的向量（类似 word2vec、BERT embedding）。
  Positional Encoding（位置编码）：为克服 Transformer 不具备顺序感，引入每个位置的向量。最初用的是正弦/余弦函数编码位置。

多头自注意力机制（Multi-Head Self-Attention）

功能：
每个位置可以根据整个输入序列中的其它位置信息动态调整其表示。多头机制增强模型表示能力。

📌 过程：
对每个输入向量 𝑥

多头注意力：

将 Q, K, V 分为多个子空间（多个头），每个头独立计算注意力，再拼接合并。

多头注意力的优势在于模型能关注多个不同的语义子空间。

前馈神经网络（ Feed Forward Network）

功能：对每个位置单独地进行非线性变换（增强特征表达能力）。

可理解为对每个 token 表示的“激活变换”。

Decoder