从 Word2Vec 到 BERT：AI 不止是词向量，更是语言理解
一、前言
在上篇文章中，我们介绍了Word2Vec以及它的作用，总的来说：
-
Word2Vec是我们理解NLP的第一站
-
Word2Vec将词变成了“向量”—— 终于可以用机器理解词语的相似度
-
我们获得了例如“国王 - 男人 + 女人 ≈ 女王” 的类比能力
-
我们可以将Word2Vec这种算法能力，应用到各种创新场景，例如基于Graph的推荐系统，后续如果小伙伴有需要，可以一起深入交流。
但同时也指出了它的不足：
-
一个词=一个固定向量（静态词向量）
-
上下文无感知：“苹果”无论是手机还是水果，向量相同
-
是词的映射，不是对语言的理解
那如果让我们来设计下一代的算法，什么最重要？
——我们需要“能读懂句子”的模型。
接下来我们一步步实现，直至引出bert。
二、Word2Vec是怎么工作的？
在上文，我们介绍到Word2Vec使用周围词预测中间词来获取词向量能力，这个被称为CBOW，同理也可以用中间词预测周围词，这个称为Skip-Gram。本质来讲，Word2Vec是一个浅层神经网络，结构如下：
from torch import nn
class Word2VecModel(nn.Module):def __init__(self, vocab_size,