突破NER性能瓶颈：BERT与LLM协同的混合架构实践

面对大模型在命名实体识别中的漏检问题，我们探索出了一套"BERT粗筛+LLM精修"的混合方案，显著提升了准确率和召回率。

引言：大模型在NER任务中的困境

在实际业务场景中，我们经常需要对文本进行命名实体识别（NER）并脱敏处理。最初，我们直接使用大语言模型（如GPT-4）来完成这项任务，期望其强大的语言理解能力能够准确识别所有实体。然而，现实却给我们泼了一盆冷水：

大模型在NER任务中的典型问题：

• 实体漏检：特别是分布在长文本边缘或格式特殊的实体
• 边界识别不准：实体起始结束位置判断错误
• 格式不一致：输出格式随性，难以程序化处理
• 成本高昂：长文本处理token消耗巨大

这些问题在金融、医疗等对准确性要求极高的领域是不可接受的。经过深入探索，我们发现了一套高效的解决方案。

解决方案：BERT与LLM的黄金组合

架构设计理念

我们的核心思路是"各取所长"：

• BERT 作为"侦察兵"：快速扫描全文，高召回率地标记潜在实体
• LLM 作为"指挥官"：基于BERT的初步结果，进行智能修正和补全

技术架构图

原始文本↓
BERT模型 → 初始实体识别（高召回率）↓
原始文本 + BERT识别结果↓
LLM精修处理 → 实体修正 + 漏检补全 + 格式标准化↓
最终标准化实体列表

具体实现方案

第一步：BERT初筛 - 全面撒网

我们使用专门的NER模型进行第一轮实体识别：

from transformers import pipelineclass BERTNERExtractor:def __init__(self):self.ner_pipeline = pipeline("ner",model="dslim/bert-base-NER",aggregation_strategy="simple")def extract_entities(self, text):"""使用BERT进行初步实体识别"""raw_entities = self.ner_pipeline(text)# 格式化BERT输出formatted_entities = []for entity in raw_entities:formatted_entities.append({"entity": entity["word"],"type": self._map_label(entity["entity_group"])