快速了解词向量模型
在自然语言处理（NLP）的世界里，如何让计算机理解人类语言是一个核心难题。而词向量模型，正是解决这一问题的关键技术。如果你想入门 NLP，了解词向量模型必不可少。让我用10 分钟带你了解词向量的核心概念、经典模型和实际价值，轻松迈入语言建模的大门。
一、词向量到底是什么？
简单说，词向量（Word Embedding）是将词语转化为数值向量的技术。在计算机眼中，文字本身是毫无意义的符号，只有转化为数字才能进行计算和处理。词向量的目标就是给每个词语分配一个低维稠密的向量，让这个向量能够 “代表” 词语的语义信息。
比如，“国王” 和 “女王” 在语义上有相似性，它们的词向量在空间中的距离会比较近；“苹果”（水果）和 “香蕉” 的词向量距离也会比 “苹果” 和 “电脑” 更近。
二、词向量的核心思想：语义相似则向量相近
词向量模型的底层逻辑源于语言学中的 **“分布式假设”（Distributional Hypothesis）**：上下文相似的词语，其语义也相似。简单来说，就是 “物以类聚，词以群分”。
比如，“猫” 和 “狗” 经常出现在类似的语境中（“宠物”“可爱”“喂养” 等），因此它们的词向量应该具有较高的相似度；而 “猫” 和 “汽车” 的语境差异很大，词向量距离也会更远。
这种 “语义相似则向量相近” 的特性，让计算机能够通过向量运算来捕捉词语间的语义关系。例如：“国王 - 男人 + 女人 ≈ 女王” 这样的向量运算，能大致得到符合语义逻辑的结果。
三、从 One - Hot 到稠密向量：词向量的进化
在词向量出现之前，人们常用One - Hot 编码表示词语。它的原理是为每个词语分配一个唯一的索引，然后用一个只有该索引位置为 1、其余为 0 的高维稀疏向量表示。但这种方式存在明显缺陷：
维度灾难：词汇量有多大，向量维度就有多大，几万词汇会导致向量维度高达几万。
语义孤立：任意两个词的向量都是正交的（内积为 0），无法体现语义关联，“猫” 和 “狗” 在 One - Hot 向量中毫无相似性。
而词向量是低维稠密向量，通常维度在 50 - 300 之间。它通过学习上下文关系，将语义信息 “压缩” 到低维空间中，既解决了维度问题，又能捕捉语义关联，是 NLP 技术的一次重要突破。
四、经典词向量模型：Word2Vec 的 “降维打击”
提到词向量，就绕不开经典的Word2Vec 模型（由 Google 在 2013 年提出）。它凭借简单高效的特点，让词向量技术广泛普及，至今仍被频繁使用。
Word2Vec 的两种核心模型
CBOW（Continuous Bag - of - Words）：通过上下文词语预测中心词。比如给定 “[我] [爱] [自然] [语言]”，预测中心词 “处理”。
Skip - Gram：通过中心词预测上下文词语。比如给定中心词 “处理”，预测周围的 “我”“爱”“自然”“语言”。
高效训练：负采样与层次 Softmax
Word2Vec 的高效性得益于两种优化技术：
负采样（Negative Sampling）：每次训练时，不计算所有词汇的概率，只采样少数负例（无关词语）进行更新，大幅降低计算量。
层次 Softmax（Hierarchical Softmax）：将词汇表构建成二叉树，通过路径概率计算替代传统 Softmax 的全局归一化，提升训练速度。
这两种技术让 Word2Vec 能在大规模语料上快速训练，生成高质量的词向量。
五、其他主流词向量模型
除了 Word2Vec，还有一些经典模型也值得了解：
GloVe（Global Vectors for Word Representation）：结合了全局词共现统计信息和局部上下文窗口的优点，通过矩阵分解思想训练词向量，在语义相似度任务上表现出色。
FastText：将词语拆分为子词（Subword），适合处理未登录词（OOV）和形态丰富的语言（如德语、法语），训练速度极快，适合工业级应用。
ELMo（Embeddings from Language Models）：首次提出 “动态词向量” 概念，词向量会根据上下文语境变化（解决一词多义问题），是预训练语言模型的前身。
六、词向量的优缺点：为什么它如此重要？
优点：
语义捕捉能力：能有效体现词语的语义相似性、关联性，为后续 NLP 任务提供优质特征。
降维高效性：将高维词汇空间压缩到低维稠密向量，降低计算成本。
迁移性强：在大规模通用语料上预训练的词向量，可直接迁移到具体任务（如情感分析、命名实体识别）中，提升小数据场景下的模型效果。
缺点：
静态性局限：传统词向量（如 Word2Vec、GloVe）是静态的，一词一向量，无法处理一词多义（如 “苹果” 既指水果也指公司）。
领域依赖性：通用语料训练的词向量在专业领域（如医疗、法律）效果可能下降，需要领域适配。
缺乏上下文动态性：无法捕捉词语在不同句子中的语义变化，而语言的灵活性恰恰体现在上下文依赖中。
七、词向量的应用：NLP 的 “基石” 技术
词向量作为 NLP 的基础技术，几乎渗透到所有语言任务中：
文本分类：将词向量作为文本特征，输入分类模型（如 SVM、神经网络），实现情感分析、垃圾邮件检测等。
命名实体识别：通过词向量捕捉词语的上下文特征，帮助识别人名、地名、机构名等实体。
机器翻译：词向量可用于对齐不同语言的词汇空间，提升翻译模型的跨语言语义理解能力。
问答系统：通过计算问题与候选答案的词向量相似度，快速匹配相关答案。
推荐系统：将用户行为文本（如评论、搜索词）转化为词向量，辅助商品或内容推荐。
八、总结：词向量的核心价值
词向量的本质是 **“语义的数值化表示”**，它通过分布式假设和高效训练算法，让计算机首次能够 “理解” 词语的语义关联。从 One - Hot 的语义孤立到 Word2Vec 的稠密向量，再到 ELMo 的动态适配，词向量技术的发展推动了 NLP 从 “符号处理” 走向 “语义计算”。