NLP11-命名实体识别（NER）概述
目录
一、序列标注任务
常见子任务
二、 命名实体识别（NER）
（一）简介
（二）目标
（三）应用场景
（四）基本方法
（五）工具与资源
一、序列标注任务
常见子任务
- 命名实体识别(Named Entity Recognition，NER)
- 词性标注(Part-of-Speech Tagging, Pos Tagging)
- 中文分词(Word segmentation)
- 语义角色标注(Semantic Role Labeling, SRL)
二、命名实体识别（NER）
（一）简介
命名实体识别(Named EntityRecognition,NER)任务是序列标注任务的一个典型子任务。其目标是识别文本中具有特定意义的实体，并进行分类。
举个栗子
“梅西率领阿根廷队夺得美洲杯冠军。”如果使用命名实体识别模型，它的输出可能是:
- 梅西(PER)
- 阿根廷(LOC)
- 美洲杯(EVENT)
这表明，NER 任务不仅理解文本的内容，还能精确定位并分类文本中的重要信息，为下游任务(如信息抽取、知识图谱构建)提供支撑。
（二）目标
1. 识别文本中所有的命名实体。
举个栗子：
- 原文： "苹果公司总部位于加利福尼亚州库比蒂诺。"
- 识别结果： "苹果公司"(实体)、"加利福尼亚州"(实体)、"库比蒂诺"(实体)。
2. 分类这些命名实体，确保它们被正确标注为人名、地名、组织名等。
举个栗子：
- "苹果公司"→组织名(ORG)
- "加利福尼亚州">地名(LOC)
- "库比蒂诺">地名(LOC)
（三）应用场景
- 信息抽取
例如，从新闻报道中提取出所有的地名和人物名，形成结构化的数据，便于分析。
- 问答系统
在问答系统中，NER用于识别用户提出问题中的关键信息(如时间、地点、人物等)，从而帮助系统理解用户的意图。
- 舆情分析
在社交媒体或新闻分析中，NER可以帮助识别涉及的公司、政府机构、知名人物等，从而辅助舆情监控与分析。
- 搜索引擎优化
提高搜索引擎对用户查询的理解，比如“苹果手机"应与Apple 产品相关，而非水果。
（四）基本方法
1. 基于规则的方法
通过手工编写规则来识别命名实体。例如，使用正则表达式来匹配日期、时间或特定的名称。这些方法优点是可解释性强，但缺点是规则需要手动更新，且难以覆盖所有的命名实体情况。
2. 基于统计的方法
通过统计学习算法，如隐马尔可夫模型(HMM)、条件随机场(CRF)来自动从大量标注好的文本中学习命名实体的模式。这些方法可以自动处理复杂的语言特征，但需要大量的训练数据。
3. 基于深度学习的方法
使用深度学习模型，如循环神经网络(RNN)、长短期记忆网络(LSTM)和 Transformer 模型这些模型可以更好地捕捉上下文信息，从而提高识别效果。近年来，基于预训练语言模型(如BERT、GPT)的方法成为 NER 的主流。
- RNN/LSTM+CRF:利用循环神经网络(RNN)、长短时记忆网络(LSTM)结合CRE进行序列标注
- Transformer+BERT:利用预训练语言模型(如 BERT、ROBERTa)进行上下文敏感的命名实体识别，取得了SOTA(State-of-the-Art)级别的性能。
（五）工具与资源
- NLTK
一个经典的Python NLP库,虽然功能强大，但其NER模块的性能通常不如SpaCy。
- SpaCy
一个非常流行的NLP库，提供了高效的NER功能，支持多种语言，并且具有丰富的预训练模型。
- Stanford NER
由斯坦福大学开发的一款高性能命名实体识别工具，支持多种实体类型。
- BERT及其变种
通过微调预训练BERT模型，可以在NER任务中取得出色的效果。Google、HuggingFace等提供了基于BERT的预训练NER模型。