Transformer习题

(1) 自注意力机制的特点：

• 并行计算：可同时处理序列中所有位置的关联，避免RNN的时序依赖问题。
• 长距离依赖建模：直接捕捉序列中任意两个元素的关系，不受距离限制。
• 动态权重分配：通过查询（Query）、键（Key）、值（Value）机制计算注意力权重，聚焦重要信息。
• 可解释性：注意力权重可直观显示不同位置的重要性。

(2) 位置编码的作用：

• 为输入序列的每个位置添加位置信息，弥补自注意力机制本身不具备位置感知能力的缺陷（因自注意力对输入顺序不敏感）。
• 常用正弦/余弦函数或可学习参数生成编码，确保模型能区分不同位置的词元。

(3) Transformers库主要提供的模型类别（以Hugging Face库为例）：

• 自编码模型（Autoencoder）：如BERT、RoBERTa，适用于掩码语言建模、文本分类等任务。
• 自回归模型（Autoregressive）：如GPT系列，用于生成任务。
• 序列到序列模型（Seq2Seq）：如BART、T5，支持翻译、摘要等任务。
• 视觉模型（Vision）：如ViT、Swin Transformer，处理图像分类等任务。
• 多模态模型（Multimodal）：如CLIP、DALL-E，结合文本与图像数据。