「日拱一码」066 深度学习——Transformer

Transformer是一种基于自注意力机制（Self-Attention）的深度学习模型架构，由Vaswani等人在2017年的论文《Attention Is All You Need》中首次提出。它彻底改变了自然语言处理(NLP)领域，并逐渐扩展到计算机视觉、语音处理等多个领域

特点

1. 自注意力机制：允许模型在处理每个词时考虑输入序列中的所有词
2. 并行计算：相比RNN可以并行处理整个序列
3. 位置编码：通过数学方法表示词的位置信息
4. 多头注意力：从多个子空间学习不同的表示

主要组件

• 编码器(Encoder)：处理输入序列
• 解码器(Decoder)：生成输出序列
• 注意力机制：计算输入元素间的相关性
• 前馈网络：对注意力输出进行非线性变换

代码示例

import torch
import torch.nn as nn
import mathclass PositionalEncoding(nn.Module):def __init__(self, d_model, max_len=5000):super().__init__()pe = torch.zeros(max_len, d_model)position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1)div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model))pe[:, 0::2] = torch.sin(position * div_term)pe[:, 1::2] = torch.cos(position * div_term)pe = pe.unsqueeze(0)self.register_buffer('pe', pe)def forward(self, x):return x + self.pe[:, :x.size(1)]class TransformerModel(nn.Module):def __init__(self, vocab_size, d_model=128, nhead=4, num_layers=2):super().__init__()self.embedding = nn.Embedding(vocab_size, d_model)self.pos_encoder = PositionalEncoding(d_model)encoder_layer = nn.TransformerEncoderLayer(d_model, nhead)self.transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers)self.fc = nn.Linear(d_model, vocab_size)def forward(self, src):src = self.embedding(src) * math.sqrt(self.embedding.embedding_dim)src = self.pos_encoder(src)output = self.transformer_encoder(src)output = self.fc(output)return outputvocab_size = 1000  # 词汇表大小
model = TransformerModel(vocab_size)
src = torch.randint(0, vocab_size, (10, 32))  # 序列长度10, batch大小32
output = model(src)
print(f"输入形状: {src.shape}")  # torch.Size([10, 32])
print(f"输出形状: {output.shape}")  # torch.Size([10, 32, 1000])