【NLP】 4. NLP项目流程与上下文窗口大小参数的影响

NLP项目流程：任务学习向量表示 (Task-Based Learning of Vectors)

1. 原始文本预测

在任务学习向量的第一步，需要定义一个具体的任务，例如文本分类、情感分析或关键词预测。输入数据通常是原始文本，目标是通过模型预测相关信息，如类别标签或文本属性。

2. 创建成向量

文本需要转换成数值形式，以便进行计算。可以使用词向量（如 Word2Vec、GloVe）或深度学习模型（如 BERT、GPT）生成嵌入向量，每个文本对应一个固定长度的向量表示。

3. 计算向量的均值

为了进一步处理文本向量，通常会计算词嵌入的均值，以获得整个文本的全局表示。均值操作可以减少噪声，并保留文本的整体语义信息。

4. 与权重矩阵相乘

计算得到的文本向量会与一个可训练的权重矩阵相乘，以调整向量的特征表示，使其更适应当前任务的需求。权重矩阵的作用是学习输入数据与目标输出之间的映射关系。

5. 标准化向量

为了确保模型稳定性，向量需要进行标准化处理，如 L2 归一化或批量归一化。标准化可以防止数值过大或过小，从而提高训练效率和模型收敛速度。

6. 计算 Loss

损失函数用于衡量模型的预测结果与真实标签之间的差距。根据任务的不同，可以使用交叉熵损失（分类任务）、均方误差（回归任务）或对比损失（匹配任务）等。

7. 更新权重

损失计算完成后，使用优化算法（如 SGD、Adam）更新模型的权重，使其能够更好地拟合数据。随着训练的进行，模型的向量表示会不断优化，使其更符合任务需求。

上下文窗口大小 (Context Window Size)

窗口大小对词向量的影响

在训练词向量时，窗口大小 (context window size) 决定了模型学习的语境范围：

• 较小窗口（±2 词） → 更关注句法关系 (Syntactic similarity)，适用于短距离的依存关系学习。
• 较大窗口（±5 词） → 更关注语义关系 (Semantic similarity)，适用于捕捉全局语境信息。

在 Word2Vec 训练中的作用

窗口大小在 Word2Vec 的 Skip-gram 和 CBOW 方法中尤为重要：

• Skip-gram
  • 适用于较大的窗口，可以学习到更广泛的语义关系。
  • 训练时从目标词预测上下文，因此对远距离的词关系更加敏感。
  • 适合小数据集，因为可以从少量样本中提取更多信息。
• CBOW
  • 适用于较小的窗口，更加专注于句法结构。
  • 训练时从上下文预测目标词，适合处理常见的短语搭配。
  • 计算更高效，适合大规模数据集的训练。

窗口大小的重要性

窗口大小是训练词向量的关键超参数，它的选择取决于任务需求：

• 任务侧重于语法？ 选择较小的窗口（2-3）。
• 任务侧重于语义？ 选择较大的窗口（5-10）。

一个合适的窗口大小能有效提升模型性能，使词向量在特定任务上的表现更优。