文本处理Bert面试内容整理-BERT的基本原理是什么？

BERT（Bidirectional Encoder Representations from Transformers）的基本原理可以从以下几个方面来理解：

1. 双向上下文建模

BERT的一个核心创新是它通过双向（bidirectional）建模上下文来理解词语的意义。传统的语言模型（如GPT）是单向的，即它们只考虑文本的左到右（或右