当前位置：首页 > news >正文

基于Python的《红楼梦》文本分析与机器学习应用

news 2025/8/14 17:31:22

本文将详细介绍如何使用Python和机器学习技术对《红楼梦》进行深入的文本分析和处理，包括文本分卷、分词、停用词处理、TF-IDF特征提取以及文本可视化等关键技术。

一、项目概述

本项目的目标是对中国古典文学名著《红楼梦》进行全面的自动化处理和分析，主要包括以下几个核心环节：

文本预处理：将完整文本按章节自动分割
分词处理：使用中文分词技术处理古典文学文本
特征提取：应用TF-IDF算法提取文本关键特征
可视化分析：对分析结果进行直观展示
主题建模：探索文本的潜在主题结构

二、关键技术介绍

1. 文本分卷处理

import osdata = open("红楼梦.txt", 'r', encoding='utf-8')
line = data.readlines()
path = '/class/红楼梦/分卷/aaa.txt'for i in line:if '卷 第' in i:  # 检测分卷标记file_name = i.strip() + 'txt'path = '/class/红楼梦/分卷'path = os.path.join(path, file_name)  # 构建新文件路径else:with open(path, 'a', encoding='utf-8') as f:  # 使用with自动关闭文件f.write(i)

技术要点解析：

分卷标记识别：利用"卷第"作为章节分割的标识符，这是处理古典文学文本的特殊考虑
动态文件创建：根据检测到的分卷标记动态创建新文件
上下文管理：使用with语句确保文件操作后自动关闭，避免资源泄露
编码处理：明确指定UTF-8编码，确保中文文本正确处理

优化建议：

添加异常处理机制，应对可能的文件操作错误
增加日志记录，跟踪分卷过程
考虑使用正则表达式提高分卷标记识别的灵活性

因为每一回都有"卷第"所以使用其来标记分割文本：

2. 文件遍历与内容读取

import pandas as pd
import osfilePaths, fileContents = [], []for root, dirs, files in os.walk(r'D:\pythonProject11\class\红楼梦\分卷'):for name in files:file_path = os.path.join(root, name)filePaths.append(file_path)with open(file_path, 'r', encoding='utf-8') as f:fileContents.append(f.read())corpos = pd.DataFrame({'filePath': filePaths,'fileContent': fileContents
})

技术要点解析：

root：正在遍历的目录路径：

递归目录遍历：使用os.walk全面扫描指定目录及其子目录
路径处理：os.path.join确保跨平台路径兼容性

dirs :当前目录下的所有子目录名称列表

files:当前目录下的所有非目录文件名称列表 files = ['第一回.txt', '前言.txt', '注释.txt']

数据结构化：将文件路径和内容组织为Pandas DataFrame，便于后续分析
内存管理：逐文件读取，避免大文件内存问题

扩展应用：

可添加文件元信息（如文件大小、修改时间等）
实现增量读取，处理超大型文本
添加文本预处理（如去除空白字符、标点符号等）

3. 中文分词与停用词处理

import jieba# 加载自定义词典和停用词表
jieba.load_userdict(r"D:\pythonProject11\class\红楼梦\红楼梦词库.py")
stopwords = pd.read_csv(r"D:\pythonProject11\class\红楼梦\StopwordsCN.txt",encoding='utf-8', engine='python', index_col=False)# 分词处理并写入汇总文件
with open(r'D:\pythonProject11\class\红楼梦\分词后汇总.txt', 'w', encoding='utf-8') as f_out:for _, row in corpos.iterrows():# 分词并过滤停用词juan_ci = ' '.join(seg for seg in jieba.cut(row['fileContent'])if seg not in stopwords.stopword.values and seg.strip())f_out.write(juan_ci + '\n')

关键点说明：

jieba：优秀的中文分词工具
自定义词典：提高专业词汇分词准确率
停用词过滤：去除无意义词汇，提高分析质量

4. TF-IDF特征提取与分析

from sklearn.feature_extraction.text import TfidfVectorizer# 读取分词后的文本
with open(r'D:\pythonProject11\class\红楼梦\分词后汇总.txt', 'r', encoding='utf-8') as file:content = file.readlines()# 计算TF-IDF
vectorizer = TfidfVectorizer()
tfidf = vectorizer.fit_transform(content)
vocabulary = vectorizer.get_feature_names_out()  # 获取词汇表# 转换为DataFrame并分析
df = pd.DataFrame(data=tfidf.T.todense(), index=vocabulary)
df = df.iloc[8:]  # 跳过前8行可能无关的内容for i in df.columns:results = df.sort_values(by=i, ascending=False)print(f'第{i+1}回:\n', results.iloc[:10,i])  # 每回取TF-IDF最高的10个词

无关紧要的内容：