当前位置：首页 > news >正文

9. 索引与检索（Indexing Retrieval）：构建企业级知识库的基石

news 来源：原创 2025/6/15 13:28:24

引言：当大模型遇上"信息过载"

2025年某三甲医院接入智能知识库前，医生平均需翻阅17份文档才能找到准确诊疗方案。引入基于Deepseek-R1的检索系统后，决策效率提升300%。本文将揭示RAG（检索增强生成）的核心架构，并手把手教你构建百万级知识库。

一、知识库系统的四层黄金标准

1.1 核心组件效能对比

层级	关键技术	延迟要求	准确率目标
数据加载	Unstructured/PDF	<10ms/文档	99%解析率
文本处理	RecursiveSplitter	<50ms/页	语义连贯性
向量化	Deepseek-R1 Embeddings	<100ms/段	0.85+相似度
检索	FAISS+HNSW	<200ms/查询	前3相关度

1.2 典型架构演进

二、实战：医疗知识库构建

2.1 智能化数据加载

from langchain_community.vectorstores import FAISS
from langchain_community.document_loaders import UnstructuredPDFLoader
from langchain_ollama import OllamaEmbeddings

# 医学文献智能解析
loader = UnstructuredPDFLoader(
    "基层医疗卫生机构常见疾病诊疗指南.pdf",
    mode="elements"
)
docs = loader.load()

# 语义感知分块（基于临床段落）
from langchain_text_splitters import RecursiveCharacterTextSplitter
splitter = RecursiveCharacterTextSplitter(
    chunk_size=300,  # 缩小块大小
    chunk_overlap=50,
    separators=["\n\n", "\n", "。", "；", "："]  # 更细粒度分隔符
)
chunks = splitter.split_documents(docs)

2.2 多粒度向量化策略

from langchain.retrievers import MultiVectorRetriever
from langchain.storage import LocalFileStore
from langchain_core.documents import Document

# 双粒度索引构建
store = LocalFileStore("./vector_store")

retriever = MultiVectorRetriever(
    vectorstore=FAISS.from_documents(chunks, OllamaEmbeddings(model="deepseek-r1"),
    docstore=store,
    id_key="doc_id",  # 关联原始文档
    chunk_size=500    # 子块大小
)

def generate_summary(chunk: Document, mode: str = "medical") -> str:
    """
    生成专业领域摘要的三种策略：
    :param chunk: LangChain文档对象
    :param mode: 领域模式（medical/legal/general）
    :return: 摘要文本
    """
    text = chunk.page_content

    # 医学领域专用处理
    if mode == "medical":
        # 提取关键元素
        keywords = ["应用原则", "病原学诊断", "联合应用", "病理生理状态", "抗菌药"]
        summary_parts = []

        # 规则匹配
        for kw in keywords:
            if kw in text:
                start_idx = text.index(kw)
                excerpt = text[start_idx:start_idx + 150]  # 截取关键段落
                summary_parts.append(f"【{kw}】{excerpt}...")

        # 回退策略：首句+尾句
        if not summary_parts:
            sentences = text.split('。')
            summary = sentences[0] + "。"
            if len(sentences) > 1:
                summary += sentences[-1] + "。"
            return summary

        return " | ".join(summary_parts)

    # 通用领域处理
    return text[:300] + "..."

# 添加摘要级索引
summaries = [generate_summary(chunk) for chunk in chunks]
retriever.vectorstore.add_texts(summaries)

2.3 混合检索管道

from langchain.retrievers import EnsembleRetriever
from langchain_community.retrievers.bm25 import BM25Retriever

# 组建多路检索器
bm25_retriever = BM25Retriever.from_documents(chunks)

hybrid_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, retriever],
    weights=[0.3, 0.7]  # 权重调优
)

# 临床问题示例
question = "抗菌药的应用原则是什么？"
results = hybrid_retriever.invoke(question)
print(results)

输出为：

[Document(metadata={'source': '基层医疗卫生机构常见疾病诊疗指南.pdf', 'coordinates': {'points': ((74.50000115183316, 211.3014735395842), (74.50000115183316, 221.3561612641388), (515.8446135085281, 221.3561612641388), (515.8446135085281, 211.3014735395842)), 'system': 'PixelSpace', 'layout_width': 595.91998, 'layout_height': 842.88}, 'filename': '基层医疗卫生机构常见疾病诊疗指南.pdf', 'languages': ['eng'], 'last_modified': '2025-04-06T09:12:10', 'page_number': 8, 'filetype': 'application/pdf', 'category': 'Title', 'element_id': 'b0d1982beb872b8e191018040eeefab4'}, page_content='主要用于呼吸道炎症、肺结核、肺寄生虫病、肺部肿瘤等疾病得诊断。包括:显微镜检查、细菌学检查。'), Document(metadata={'source': '基层医疗卫生机构常见疾病诊疗指南.pdf', 'coordinates': {'points': ((74.50000115183316, 188.05147302033458), (74.50000115183316, 198.10616074488917), (116.03271697189702, 198.10616074488917), (116.03271697189702, 188.05147302033458)), 'system': 'PixelSpace', 'layout_width': 595.91998, 'layout_height': 842.88}, 'filename': '基层医疗卫生机构常见疾病诊疗指南.pdf', 'languages': ['eng'], 'last_modified': '2025-04-06T09:12:10', 'page_number': 8, 'filetype': 'application/pdf', 'category': 'Title', 'element_id': 'f5ef1abee27b1d8223b0a230485c12bb'}, page_content='痰液检查'), Document(metadata={'source': '基层医疗卫生机构常见疾病诊疗指南.pdf', 'coordinates': {'points': ((74.50000115183316, 141.55147198183442), (74.50000115183316, 151.606159706389), (336.36462950014237, 151.606159706389), (336.36462950014237, 141.55147198183442)), 'system': 'PixelSpace', 'layout_width': 595.91998, 'layout_height': 842.88}, 'filename': '基层医疗卫生机构常见疾病诊疗指南.pdf', 'languages': ['eng'], 'last_modified': '2025-04-06T09:12:10', 'page_number': 8, 'filetype': 'application/pdf', 'category': 'Title', 'element_id': '5f15feefc0290755286714c6476fed70'}, page_content='包括:粪便常规检查(一般性状检查、显微镜检查)、潜血试验。'), Document(metadata={'source': '基层医疗卫生机构常见疾病诊疗指南.pdf', 'coordinates': {'points': ((74.50000115183316, 94.30147092658501), (74.50000115183316, 104.3561586511396), (262.34461009702886, 104.3561586511396), (262.34461009702886, 94.30147092658501)), 'system': 'PixelSpace', 'layout_width': 595.91998, 'layout_height': 842.88}, 'filename': '基层医疗卫生机构常见疾病诊疗指南.pdf', 'languages': ['eng'], 'last_modified': '2025-04-06T09:12:10', 'page_number': 8, 'filetype': 'application/pdf', 'category': 'Title', 'element_id': '9bf06995793aff9167bf151be52e2163'}, page_content='腺、肝胆得功能状况;检查粪便中得致病菌。')]