Bert预训练任务-MLM/NSP

MLM

        MLM:Masked Language Mode:在每一个训练序列中以15%的概率随机地选中某个token进行MASK,当一个token被选中后，有以下三种处理方式：

1. 80%的概率被[MASK]，如my dog is hairy->my dog is [MASK]
2. 10%的概率修改为随机的其他token,如my dog is hairy->my dog is apple
3. 10%的概率修改为随机的其他token,如my dog is hairy->my dog is hairy

        然后再对该位置的MASK进行预测。以上的MLM任务让BERT针对被MASK的token的上下文信息预测目标token。

NSP

        NSP:Next Sentence Prediction，对于每一个训练样例，进行如下操作。

1. 50%的概率保持原有顺序（标注为lsNext）
2. 50%的概率后面的句子被替换为文档的其他随机句B(标注为NotNext)。接下来把训练样例输入到BERT模型中，用[CLS]对应的信息去进行二分类。