当前位置：首页 > news >正文

本地大模型编程实战(36)使用知识图谱增强RAG(2)生成知识图谱

news 2025/9/19 19:03:35

本文将简单介绍如何把文本生成 知识图谱（Knowledge Graph）。具体来说，是使用开源项目 AutoSchemaKG 生成 GraphML 。
GraphML 是 XML（Extensible Markup Language）格式的文件，可以使用 NetworkX 等框架轻松处理这种格式的文件。下图是一个典型的 GraphML ：
GraphML样例

AutoSchemaKG 简介

AutoSchemaKG 用来从大规模的非结构化文本（比如网页、文章）中自动构建知识图谱（KG），而且它有两个关键特点：

无需预先定义的 schema（模式）
通常构建知识图谱时，需要先有人设计 ontology/schema：哪些实体、哪些关系、哪些属性、类别等。AutoSchemaKG 的创新是通过自动的 schema induction（模式生发／抽象化），让系统自己从文本中学习这些结构，并组织成概念／类别。
同时处理实体、事件与抽象概念
不只是提取“实体-实体关系”（person-born-in-place，company-located_in-city等），还处理事件（events），即文本中不仅有静态事实，还有行为、动词、事件之间的关系；再对这些实体／事件做概念化（conceptualization），把具体实例归类为抽象类别，从而使知识图谱的结构更通用、更能支持跨领域或者零样本推理。

生成知识图谱

下面的代码使用 AutoSchemaKG 生成知识图谱。

import os 
os.environ['CUDA_VISIBLE_DEVICES'] = '1'
from atlas_rag.kg_construction.triple_extraction import KnowledgeGraphExtractor
from atlas_rag.kg_construction.triple_config import ProcessingConfig
from atlas_rag.llm_generator import LLMGenerator
from openai import OpenAI
from transformers import pipeline
from configparser import ConfigParser
# Load OpenRouter API key from config file
config = ConfigParser()
config.read('config.ini')'''
client = OpenAI(base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",api_key='xxxxxx',
)
model_name = "qwen-plus"
'''
client = OpenAI(base_url="http://localhost:11434/v1",api_key='ollama',
)
model_name = "qwen3"def generate(filename_pattern,data_directory,output_directory):"""生成知识图谱"""output_directory = f'{output_directory}/{filename_pattern}'triple_generator = LLMGenerator(client, model_name=model_name)kg_extraction_config = ProcessingConfig(model_path=model_name,data_directory=data_directory,filename_pattern=filename_pattern,batch_size_triple=3,batch_size_concept=16,output_directory=f"{output_directory}",max_new_tokens=2048,max_workers=3,remove_doc_spaces=True, # For removing duplicated spaces in the document text#debug_mode=True,)kg_extractor = KnowledgeGraphExtractor(model=triple_generator, config=kg_extraction_config)# construct entity&event graphkg_extractor.run_extraction()# Convert Triples Json to CSVkg_extractor.convert_json_to_csv()# Concept Generationkwargs = {'language': 'zh-CN'}kg_extractor.generate_concept_csv_temp(**kwargs)kg_extractor.create_concept_csv()# convert csv to graphml for networkxkg_extractor.convert_to_graphml()def generate_all():"""批量生成"""data_directory = "source"output_directory = "target"total = 617count = 1for root, dirs, files in os.walk(data_directory):for file in files:print(f"===开始处理 {count} of {total} ...\n")filename_pattern = file[:-5]dir_target = os.path.join(output_directory,filename_pattern)if os.path.exists(dir_target):print(f"{dir_target}已经处理过了.")else:generate(filename_pattern=filename_pattern,data_directory=data_directory,output_directory=output_directory)count += 1def generate_test():"""测试生成"""data_directory = "test_source"output_directory = "test_target"filename_pattern = "裁判规则"generate(filename_pattern=filename_pattern,data_directory=data_directory,output_directory=output_directory)

上述代码既可以生成单个文件的知识图谱，也可以批量生成很多文件的知识图谱；当在 data_directory 中放多个 filename_pattern 的源文件时， AutoSchemaKG 将会把这一批文件生成一个 GraphML 文件。
生成知识图谱的发动机是 大语言模型 ，我是用部署在本地的 ollama 中的 qwen3 8b 生成的，由于 OpanAI 几乎成了所有大模型的规范，所以如果想使用线上的其它大模型，只需要修改一下 base_url 和 api_key 就能直接使用了。

有以下两个问题值得注意：