有哪些词编码模型

有哪些词编码模型

词编码模型：是将自然语言符号映射为稠密的高维向量，使语义相近的词汇在向量空间中位置接近。

不过，也有部分模型会考虑字母或字符信息，如基于字节对编码（BPE）的模型会将单词拆分成子词，这里的子词可能是字母组合。

词编码模型的原理主要是通过机器学习算法，在大规模文本语料库上学习词的语义表示，将词映射到一个低维向量空间，使得向量之间的关系能够反映词与词之间的语义关系，如相似性、相关性等。常见的词编码模型原理如下：

• Word2Vec原理：Word2Vec是一个两层神经网络，可通过处理文本数据生成词向量。它有连续词袋模型（CBOW）和跳字模型（Skip - gram）两种架构。

CBOW模型根据目标词周围的上下文词来预测目标词，如对于句子“the cat sat on the mat”，若目标词是“cat”，则利用“the”“sat”“on”“the”“mat”来预测“cat”。

Skip - gram模型则相反，它根据目标词来预测其周围的上下文词，即以“cat”为输入，预测“the”“sat”“on”“the”“