关于大语言模型的问答？

1.Why is prompt（提示词） engineering necessary when working with large language models (LLMs)?

答：Despite LLMs are powerful and versatile, they could still generate texts that are too generic, hallucinated, irrelevant, or simply wrong. By crafting better prompts, it almost always leads to more coherent, contextually accurate, and useful responses, regardless if it is a base LLM model (pre-trained) or a chat model (instruction-tuned).

尽管LLM功能强大且通用性，但它们仍然可以生成太通用，幻觉，无关紧要或简直是错误的文本。通过制定更好的提示，它几乎总是会导致更连贯，上下文准确且有用的响应，无论它是基本LLM模型（预训练）还是聊天模型（指令调整）。

2.Can you briefly explain what is Byte-Pair Encoding (BPE) tokenization in LLM?

答：BPE是用于将文本转换为令牌的子字令牌化算法。它在语言模型中特别有用，可以通过将其分解为更频繁的子词单元来处理稀有单词，从而使模型可以更好地概括。

BPE的关键步骤是：

1.将单词分成字符：开始时，每个单词都表示为字符的序列。
2.合并最频繁的对：该算法反复合并语料库中最常见的字符或子字，形成新的子字。
3.构建词汇：该算法跟踪所有独特的字符和合并的子词单元，并将其添加到词汇中。这个过程一直持续到达到预定义的词汇大小或在一定频率阈值上面不存在更频繁的对。
4.令牌化：一旦受过训练，该算法就可以根据学习合并将其分解为子字代币来编码任何文本。

3.Can you briefly explain what is multi-head self-attention in the context of transformer models? And why do we want to use multiple heads?

首先，自我注意力是允许输入序列中的每个位置（或令牌）参加其他每个位置。这使该模型能够捕获单词之间的依赖性，即使它们在顺序中相距遥远。自我注意的计算涉及三个主要组成部分：查询（q），键（k）和值（v）。对于每个令牌，我们根据其查询向量与序列中所有令牌的关键向量之间的相似性计算注意力权重，然后使用这些权重形成值的加权向量。  为了捕获代币之间的一组更丰富的关系，引入了多头自我注意力。有几个好处：

• 通过将嵌入到多个头部，我们从本质上创建了原始嵌入空间的多个子空间。
• 每个头部都可以学会表示输入的不同方面或功能。通过允许并行学习和应用多种注意力模式，该模型变得更具表现力。
• 它可以捕获单个注意机制可能会错过的复杂，多面的关系。拥有多个头部类似于具有注意机制的集合。最终输出结合了所有头部的信息，可能导致更稳健和细微的表示。

4.In NLP tasks, transformer models often process input sequences of varying lengths. Describe different strategies to handle this variation in input length.

答：一些常见方法包括：

填充（padding）：将特殊的填充令牌添加到所有序列中，以使它们匹配批处理中最长序列的长度。这是变压器模型中最常见的方法。
截断（Truncation）：将序列限制为最大长度，以降低计算成本。
桶（bucket）：将具有相似长度的序列分组在一起，以最大程度地减少填充量。
相对位置嵌入（Relative positional embeddings）：编码任何两个令牌之间的距离，而不是在整个序列中的绝对位置。

5.Explain the concept of relative positional embeddings in transformer models, and how does it work?

答：在实践中，当计算变压器中的自我注意力分数时，将相对位置嵌入添加到Query-Key-键点产物中。具体而言，注意机制既考虑令牌的内容及其相对距离。这是通过添加或串联学习的嵌入方式来完成的，该嵌入代表每个查询对和密钥对之间的相对距离。
在实现中，序列中的每个位置都具有与其他每个位置的相对距离（例如-2，-1、0，+1，+2）。然后使用学习的嵌入表将这些距离转换为嵌入。这样，该模型会根据它们的分开来学习令牌之间的关系，而不仅仅是从固定的绝对位置学习。这种方法使该模型在不同情况下捕获令牌依赖的依赖性更具上下文感知和更好。

6.Extend your MultiHeadSelfAttention class in PyTorch to incorporate relative positional embeddings. Modify your implementation to add the necessary calculations and adjustments for integrating relative positions？

答：略