什么网站可以做兼职 知乎百度seo是什么

Decoder Layer

• 论文地址

  https://arxiv.org/pdf/1706.03762

解码器层结构

• Transformer解码器层由三种核心组件构成：

  1. Masked多头自注意力：关注解码器序列当前位置之前的上下文（因果掩码）

  2. Encoder-Decoder多头注意力：关注编码器输出的相关上下文

  3. 前馈神经网络：进行非线性特征变换

     

  今天这里实现的是上图中蓝色框中的单层DecoderLayer，不包含 embedding和位置编码,以及最后的Linear和Softmax。

  主要处理流程：

  1. Decoder 的Masked自注意力
  2. Encoder-Decoder自注意力
  3. 前馈神经网络：进行非线性特征变换
  4. 残差连接 + 层归一化
  5. Dropout：最终输出前进行随机失活

数学表达

• 解码器层计算过程分为三个阶段：

  1. Masked自注意力阶段：

  $$\text{MaskedAtt}(Q,K,V)=\text{LayerNorm}(\text{MultiHead}(Q,K,V)+Residual)$$

  2. Encoder-Decoder注意力阶段：

  $$\text{CrossAtt}(Q_{dec},K_{enc},V_{enc})=\text{LayerNorm}(\text{MultiHead}(Q_{dec},K_{enc},V_{enc})+Residual)$$

  3. 前馈网络阶段：

  $$\text{FFN}(x)=\text{LayerNorm}(\text{ReLU}(x{W}_1+b_1)W_2+b_2+x)$$

  其中：

  1. d_model 为模型维度
  2. Residual 为残差连接
  3. 下标dec来源于Decoder自己的输出，下标enc为Encoder的输出

代码实现

• 实现单层

  其他层的实现

  层名	链接
  PositionEncoding	https://blog.csdn.net/hbkybkzw/article/details/147431820
  calculate_attention	https://blog.csdn.net/hbkybkzw/article/details/147462845
  MultiHeadAttention	https://blog.csdn.net/hbkybkzw/article/details/147490387
  FeedForward	https://blog.csdn.net/hbkybkzw/article/details/147515883
  LayerNorm	https://blog.csdn.net/hbkybkzw/article/details/147516529
  EncoderLayer	https://blog.csdn.net/hbkybkzw/article/details/147591824

  下面统一在before.py中导入

• 实现单层的DecoderLayer

  import torch 
  from torch import nnfrom before import PositionEncoding,calculate_attention,MultiHeadAttention,FeedForward,LayerNormclass DecoderLayer(nn.Module):def __init__(self, n_heads, d_model, ffn_hidden, dropout_prob=0.1):super(DecoderLayer, self).__init__()self.masked_att = MultiHeadAttention(n_heads=n_heads, d_model=d_model, dropout_prob=dropout_prob)self.att = MultiHeadAttention(n_heads=n_heads, d_model=d_model, dropout_prob=dropout_prob)self.norms = nn.ModuleList([LayerNorm(d_model=d_model) for _ in range(3)])  # 三个归一化层self.ffn = FeedForward(d_model=d_model, ffn_hidden=ffn_hidden, dropout_prob=dropout_prob)self.dropout = nn.Dropout(dropout_prob)def forward(self, x, encoder_kv, dst_mask=None, src_dst_mask=None):# 第一阶段：Decoder 的Masked自注意力_x = xmask_att_out = self.masked_att(q=x, k=x, v=x, mask=dst_mask)mask_att_out = self.norms[0](mask_att_out + _x)  # 残差连接后归一化# 第二阶段：Encoder-Decoder注意力_x = mask_att_outatt_out = self.att(q=mask_att_out, k=encoder_kv, v=encoder_kv, mask=src_dst_mask)att_out = self.norms[1](att_out + _x)# 第三阶段：前馈网络_x = att_outffn_out = self.ffn(att_out)ffn_out = self.norms[2](ffn_out + _x)return self.dropout(ffn_out)
  

• 注意力掩码机制

  掩码类型	作用域	功能描述
  dst_mask	目标序列自注意力	防止当前位置关注未来信息（因果掩码）
  src_dst_mask	编码器-解码器注意力	控制解码器查询对编码器键值对的访问权限

• 参数说明

  参数名	类型	说明
  n_heads	int	注意力头数量
  d_model	int	模型隐藏层维度
  ffn_hidden	int	前馈网络中间层维度（通常4倍）
  dropout_prob	float	Dropout概率（默认0.1）

使用示例

• 测试代码

  if __name__ == "__main__":# 实例化解码器层：8头，512维，前馈层2048，20% dropoutdecoder_layer = DecoderLayer(n_heads=8, d_model=512, ffn_hidden=2048, dropout_prob=0.2)# 模拟输入：batch_size=4，目标序列长度50，编码器输出长度80x = torch.randn(4, 50, 512)encoder_out = torch.randn(4, 80, 512)tgt_mask = Nonesrc_mask = Noneoutput = decoder_layer(x, encoder_out, dst_mask=tgt_mask, src_dst_mask=src_mask)print("输入形状:", x.shape)print("encode_kv 形状:", encoder_out.shape)print("输出形状:", output.shape)
  

  ---