住房城市乡建设部网站,无锡网站建设方案优化,确定网站风格,安阳新闻最新消息【文本】词嵌入经典模型：从one-hot到BERT
one-hot编码（独热编码）：
根据词表的所有词构建一个向量特征。每一个文段中每个单词有一个词向量（二进制且只有一位为1） — 稀疏、缺乏语义（father&am…【文本】词嵌入经典模型：从one-hot到BERT
one-hot编码（独热编码）：
- 根据词表的所有词构建一个向量特征。每一个文段中每个单词有一个词向量（二进制且只有一位为1） — 稀疏、缺乏语义（father&mother；like&love）
word2vec编码：
- 原则：“一个词被周围的词所代表”
- 有两种模型：CBOW（Continuous Bag of Words） 上下文单词预测目标单词（完形填空） 和 Skip-Gram 目标单词预测上下文单词（造句），中心词可替换，上下文不变，那就是相似的词
- 步骤：
- 随机初始化向量表示，经历无数次训练（如下）
- 正样本：-（正向传播）将中心词和上下文两个词向量输入神经网络，模型中输出的是“是否为上下文的概率”-（反向传播）概率不符合实际（损失函数大），则更新神经网络模型的参数（根据梯度调整权重），以及两个词的向量表达，使得下次预测更接近于1（学到了中心词的语义）
- 负样本：使其概率更接近0
- — 确乏全文信息；无法解决一词多义
Bert模型
- Bert模型基于transformer架构，加入句向量（解决全文信息），可以处理一词多义
- 苹果（中心词）的语义信息，由句子内所有上下文的单词有关，整个句子信息都要混入当前单词中（self-attention，用文本中的更多上下词，增加目标此语义，中心词语义=∑所有词*权重，权重由模型训练）
- — 考虑完形填空（MLM任务），在训练时随机替换句子中一些词为mask。一个单词被mask掉后，根据句子中其他词的语义中混合的信息，反向猜出被mask的词，输出的mask词预测是一个概率分布，表示每个单词被成功预测的概率，目标是向1训练（减少损失函数）；没有负样本训练。
- — 考虑续写（NSP任务），即句子间训练（模型接收一对句子，判断第二个句子是否是第一个句子的下一句），帮助理解句子间逻辑
- — CLS特殊符号，排入开头位值，但是没有自己语义（所以能够表示整个句子信息—存在争议）
