`<CLS>` 向量是 `logits` 计算的“原材料”,`logits` 是基于 `<CLS>` 向量的下游预测结果
是什么
在自然语言处理的 BERT(Bidirectional Encoder Representations from Transformers)模型 里,<CLS>
(Classification Token,分类标记 )是一个特殊标记,作用如下:
一、核心定位:句子级“全局摘要”
- 它固定出现在每个输入序列的最开头,专门用于承载整个文本序列的全局语义信息,相当于给模型一个统一的“抓手”来理解整段文本,常作为后续下游任务(比如文本分类、情感分析)的关键依据 。
比如处理文本“我喜欢自然语言处理”,实际输入模型的序列是“<CLS>
我喜欢自然语言处理”,<CLS>
会整合后面所有内容的语义。