当前位置：首页 > news >正文

【自然语言处理】TextRank 算法提取关键词、短语、句（Python源码实现）

news 来源：原创 2025/5/11 2:15:16

文章目录

一、TextRank 算法提取关键词 [工具包]
二、TextRank 算法提取关键短语[工具包]
三、TextRank 算法提取关键句[工具包]
四、TextRank 算法提取关键句（Python源码实现）

一、TextRank 算法提取关键词 [工具包]

见链接
【自然语言处理】TextRank 算法提取关键词（Python源码实现）

也可以使用textrank4zh工具包

# coding=utf-8
# 导入textrank4zh的相关工具包
from textrank4zh import TextRank4Keyword, TextRank4Sentence

# 导入常用工具包
import pandas as pd
import numpy as np


# 关键词抽取
def keywords_extraction(text):
    # allow_speech_tags : 词性列表, 用于过滤某些词性的词
    tr4w = TextRank4Keyword(allow_speech_tags=['n', 'nr', 'nrfg', 'ns', 'nt', 'nz'])

    # text: 文本内容, 字符串
    # window: 窗口大小, int, 用来构造单词之间的边, 默认值为2
    # lower: 是否将英文文本转换为小写, 默认值为False
    # vertex_source: 选择使用words_no_filter, words_no_stop_words, words_all_filters中的>哪一个来构造pagerank对应的图中的节点
    #                默认值为'all_filters', 可选值为'no_filter', 'no_stop_words', 'all_filters'
    # edge_source: 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪>一个来构造pagerank对应的图中的节点之间的边
    #              默认值为'no_stop_words', 可选值为'no_filter', 'no_stop_words', 'all_filters', 边的构造要结合window参数
    # pagerank_config: pagerank算法参数配置, 阻尼系数为0.85

    tr4w.analyze(text=text, window=2, lower=True, vertex_source='all_filters',
                 edge_source='no_stop_words', pagerank_config={'alpha': 0.85, })

    # num: 返回关键词数量
    # word_min_len: 词的最小长度, 默认值为1
    keywords = tr4w.get_keywords(num=6, word_min_len=2)

    # 返回关键词
    return keywords


if __name__ == "__main__":
    text = "来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，" \
           "我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台党委书记、" \
           "副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花。”" \
           "据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，" \
           "获得国际永久编号第120730号。2018年9月25日，经国家天文台申报，" \
           "国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，" \
           "正式将该小行星命名为“周又元星”。"

    # 关键词抽取
    keywords = keywords_extraction(text)
    print(keywords)

[{‘word’: ‘小行星’, ‘weight’: 0.05808441467341854}, {‘word’: ‘天文台’, ‘weight’: 0.057216537757425114}, {‘word’: ‘命名’, ‘weight’: 0.0485177005159723}, {‘word’: ‘中国’, ‘weight’: 0.04571647812425182}, {‘word’: ‘中国科学院’, ‘weight’: 0.03781893783699663}, {‘word’: ‘国家’, ‘weight’: 0.03438059254484017}]

二、TextRank 算法提取关键短语[工具包]

关键短语抽取: 关键词抽取结束后, 可以得到N个关键词, 在原始文本中相邻的关键词便构成了关键短语.
具体方法: 分析get_keyphrases()函数可知, 内部实现上先调用get_keywords()得到关键词, 然后分析关键词是否存在相邻的情况, 最后即可确定哪些是关键短语.

# coding=utf-8
from textrank4zh import TextRank4Keyword, TextRank4Sentence


# 关键短语抽取
def keyphrases_extraction(text):
    tr4w = TextRank4Keyword()

    tr4w.analyze(text=text, window=2, lower=True, vertex_source='all_filters',
                 edge_source='no_stop_words', pagerank_config={'alpha': 0.85, })

    # keywords_num: 抽取的关键词数量
    # min_occur_num: 关键短语在文中的最少出现次数
    keyphrases = tr4w.get_keyphrases(keywords_num=6, min_occur_num=1)

    # 返回关键短语
    return keyphrases


if __name__ == "__main__":
    text = "来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，" \
           "我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台党委书记、" \
           "副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花。”" \
           "据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，" \
           "获得国际永久编号第120730号。2018年9月25日，经国家天文台申报，" \
           "国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，" \
           "正式将该小行星命名为“周又元星”。"

    # 关键短语抽取
    keyphrases = keyphrases_extraction(text)
    print(keyphrases)

[‘小行星命名’]

三、TextRank 算法提取关键句[工具包]

关键句抽取: 句子抽取任务主要就是为了解决自动文本摘要任务, 将每一个sentence作为一个顶点, 根据两个句子之间的内容重复程度来计算他们之间的相似度. 由于不同的句子对之间相似度大小不同, 因此最终构建的是以相似度大小作为edge权重的有权图.


from textrank4zh import TextRank4Keyword, TextRank4Sentence


# 关键句抽取
def keysentences_extraction(text):
    tr4s = TextRank4Sentence()

    # text: 文本内容, 字符串
    # lower: 是否将英文文本转换为小写, 默认值为False
    # source: 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来生成句子之间的相似度
    #         默认值为'all_filters', 可选值为'no_filter', 'no_stop_words', 'all_filters'
    tr4s.analyze(text, lower=True, source='all_filters')

    # 获取最重要的num个长度大于等于sentence_min_len的句子用来生成摘要
    keysentences = tr4s.get_key_sentences(num=3, sentence_min_len=6)

    # 返回关键句子
    return keysentences


if __name__ == "__main__":
    text = "来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，" \
           "我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台党委书记、" \
           "副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花。”" \
           "据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，" \
           "获得国际永久编号第120730号。2018年9月25日，经国家天文台申报，" \
           "国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，" \
           "正式将该小行星命名为“周又元星”。"

    # 关键句抽取
    keysentences = keysentences_extraction(text)
    print(keysentences)

[{‘index’: 4, ‘sentence’: ‘2018年9月25日，经国家天文台申报，国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，正式将该小行星命名为“周又元星”’, ‘weight’: 0.22810403250964517}, {‘index’: 3, ‘sentence’: ‘”据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，获得国际永久编号第120730号’, ‘weight’: 0.21062461059717202}, {‘index’: 1, ‘sentence’: ‘4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂’, ‘weight’: 0.20209234016610828}]

四、TextRank 算法提取关键句（Python源码实现）

原理参考【自然语言处理】TextRank 算法提取关键词（Python源码实现）

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# @Author: yudengwu(余登武）
# @Date  : 2025/2/06
#@email:1344732766@qq.com


import jieba
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

class TextRank(object):
    def __init__(self, text, alpha, iternum):
        self.text = text  # 文本
        self.alpha = alpha  # 权重
        self.iternum = iternum  # 迭代次数
        self.top_n=2 #文本句子最小个数



    # 辅助函数 Jieba 分词
    def chinese_tokenizer(self,sentence):
        return jieba.cut(sentence, cut_all=False)

    # 辅助函数 余弦相似度
    def cosine_similarity_text(self,str1, str2):
        words1 = ' '.join(self.chinese_tokenizer(str1))
        words2 = ' '.join(self.chinese_tokenizer(str2))
        vectorizer = TfidfVectorizer()
        tfidf = vectorizer.fit_transform([words1, words2])
        return cosine_similarity(tfidf)[0][1]



    ##步骤1   对文本进行分句
    def cut_text(self):
        # 1. 分句
        self.text = self.text.replace(r"!|?", "。")  # 将! ？替换为句号
        self.sentences = self.text.split(r"。")  # 简单按句号分句

    #步骤2  根据边的相连关系，构建矩阵
    def createMatrix(self):
        # 计算句子相似度矩阵
        self.sim_matrix = np.zeros((len(self.sentences), len(self.sentences)))
        for i in range(len(self.sentences)):
            for j in range(len(self.sentences)):
                if i != j:
                    self.sim_matrix[i][j] = self.cosine_similarity_text(str(self.sentences[i]), str(self.sentences[j]))

        # 归一化
        for j in range(self.sim_matrix.shape[1]):  # 列
            sum = 0.1  # 防止分母为0
            for i in range(self.sim_matrix.shape[0]):  # 行
                sum += self.sim_matrix[i][j]  # 一列的和
            for i in range(self.sim_matrix.shape[0]):
                self.sim_matrix[i][j] /= sum

    # 步骤3  根据textrank公式计算权重

    def calPR(self):
        self.PR = np.ones((len(self.sentences), 1))  # 每个句子重要性初始化为1
        for i in range(self.iternum):
            self.PR = (1 - self.alpha) + self.alpha * np.dot(self.sim_matrix, self.PR)  # 重要性迭代更新

    # 步骤4  输出词和相应的权重
    def printResult(self):
        word_pr = {}
        for i in range(len(self.PR)):
            word_pr[self.sentences[i]] = self.PR[i][0]  # {句子：重要性}
            res = sorted(word_pr.items(), key=lambda x: x[1], reverse=True)[:5]  # 前5个句子
        print(res)





if __name__ == '__main__':
    # 示例
    text = "来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，" \
           "我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。国家天文台党委书记、" \
           "副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花。”" \
           "据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，" \
           "获得国际永久编号第120730号。2018年9月25日，经国家天文台申报，" \
           "国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，" \
           "正式将该小行星命名为“周又元星”。"
    tr = TextRank(text, 0.85, 600)
    tr.cut_text()
    tr.createMatrix()
    tr.calPR()
    tr.printResult()

结果>[(‘2018年9月25日，经国家天文台申报，国际天文学联合会小天体联合会小天体命名委员会批准，国际天文学联合会《小行星通报》通知国际社会，正式将该小行星命名为“周又元星”’, 0.4601715134048322), (‘”据介绍，这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站，获得国际永久编号第120730号’, 0.42860509563953664), (‘来源：中国科学报本报讯（记者肖洁）又有一位中国科学家喜获小行星命名殊荣！4月19日下午，中国科学院国家天文台在京举行“周又元星”颁授仪式，我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂’, 0.3821014436325072), (‘国家天文台党委书记、副台长赵刚在致辞一开始更是送上白居易的诗句：“令公桃李满天下，何须堂前更种花’, 0.2869523859422471), (‘’, 0.15000000000000002)]

在这里插入图片描述