当前位置：首页 > wzjs >正文

荆门城乡建设局网站广告投放代理商加盟

wzjs 2025/8/7 8:33:39

荆门城乡建设局网站,广告投放代理商加盟,天津建设工程信息往,公司logo设计价格目录 Python实例题题目代码实现实现原理马尔可夫链模型： 文本处理： 模型特性： 关键代码解析模型训练文本生成分词与重组使用说明从文本文件训练并生成： 使用自定义起始词： 调整马尔可夫链阶数…

Python实例题

题目

Python应用马尔可夫链算法实现随机文本生成

代码实现

import re
import random
import argparse
from collections import defaultdictclass MarkovTextGenerator:def __init__(self, order=2):"""初始化马尔可夫链生成器Args:order: 马尔可夫链的阶数，即使用多少个词作为前缀"""self.order = orderself.model = defaultdict(list)  # 马尔可夫模型：前缀 -> 可能的后续词列表self.start_words = []  # 可能的句子起始词def train(self, text):"""训练马尔可夫链模型Args:text: 用于训练的文本"""# 清理文本并分割成词words = self._tokenize(text)# 构建模型for i in range(len(words) - self.order):# 获取当前前缀（长度为order的词序列）prefix = tuple(words[i:i+self.order])# 获取后续词next_word = words[i + self.order]# 将后续词添加到前缀对应的列表中self.model[prefix].append(next_word)# 记录可能的句子起始词（如果前缀中的第一个词是句首词）if i == 0 or words[i-1] in ['.', '!', '?']:self.start_words.append(prefix)def _tokenize(self, text):"""将文本分割成词，并保留标点符号Args:text: 输入文本Returns:词列表"""# 使用正则表达式分割文本，保留标点符号words = re.findall(r'\w+|[^\w\s]', text)return wordsdef generate(self, length=20, seed=None):"""生成随机文本Args:length: 生成的词数seed: 用于生成的起始词，如果为None则随机选择Returns:生成的文本"""if not self.model:raise ValueError("模型尚未训练，请先调用train方法")# 如果没有提供种子，随机选择一个起始前缀if seed is None:if not self.start_words:prefix = random.choice(list(self.model.keys()))else:prefix = random.choice(self.start_words)else:# 尝试使用用户提供的种子seed_words = self._tokenize(seed)if len(seed_words) < self.order:raise ValueError(f"种子词数量必须至少为{self.order}")prefix = tuple(seed_words[-self.order:])if prefix not in self.model:raise ValueError(f"提供的种子 '{seed}' 不在训练数据中")# 生成文本result = list(prefix)for _ in range(length - self.order):# 如果当前前缀没有可能的后续词，随机选择一个新前缀if not self.model[prefix]:prefix = random.choice(list(self.model.keys()))result.extend(prefix[1:])  # 添加新前缀中除第一个词外的其他词else:# 随机选择一个可能的后续词next_word = random.choice(self.model[prefix])result.append(next_word)# 更新前缀prefix = prefix[1:] + (next_word,)# 将词列表组合成文本return self._detokenize(result)def _detokenize(self, words):"""将词列表重新组合成文本Args:words: 词列表Returns:组合后的文本"""text = ""for i, word in enumerate(words):# 如果是标点符号，直接添加if word in ['.', '!', '?', ',', ';', ':', '"', "'", ')', ']', '}']:text += word# 如果前一个字符是标点符号，在词前添加空格elif i > 0 and words[i-1] in ['(', '[', '{', '"', "'"]:text += wordelse:# 否则在词前添加空格text += " " + word# 去除开头的空格return text.strip()def save_model(self, filename):"""保存训练好的模型到文件Args:filename: 保存的文件名"""import picklewith open(filename, 'wb') as f:pickle.dump({'order': self.order,'model': self.model,'start_words': self.start_words}, f)@classmethoddef load_model(cls, filename):"""从文件加载训练好的模型Args:filename: 模型文件Returns:加载好的MarkovTextGenerator实例"""import picklewith open(filename, 'rb') as f:data = pickle.load(f)generator = cls(order=data['order'])generator.model = data['model']generator.start_words = data['start_words']return generatordef main():parser = argparse.ArgumentParser(description='马尔可夫链文本生成器')parser.add_argument('--input', help='输入文本文件')parser.add_argument('--model', help='模型文件（用于加载或保存）')parser.add_argument('--order', type=int, default=2, help='马尔可夫链阶数（默认2）')parser.add_argument('--length', type=int, default=50, help='生成文本长度（词数）')parser.add_argument('--seed', help='生成文本的起始词')parser.add_argument('--save', action='store_true', help='保存训练好的模型')args = parser.parse_args()if args.input:# 从文件读取文本try:with open(args.input, 'r', encoding='utf-8') as f:text = f.read()except Exception as e:print(f"无法读取文件: {e}")return# 创建并训练生成器generator = MarkovTextGenerator(order=args.order)generator.train(text)# 如果指定了保存选项，保存模型if args.save and args.model:generator.save_model(args.model)print(f"模型已保存到 {args.model}")elif args.model:# 从模型文件加载try:generator = MarkovTextGenerator.load_model(args.model)print(f"已从 {args.model} 加载模型")except Exception as e:print(f"无法加载模型: {e}")returnelse:print("请指定输入文本文件或模型文件")return# 生成并打印文本try:generated_text = generator.generate(length=args.length, seed=args.seed)print("\n生成的文本:")print(generated_text)except Exception as e:print(f"生成文本时出错: {e}")if __name__ == "__main__":main()

实现原理

这个马尔可夫链文本生成器基于以下核心技术实现：

马尔可夫链模型：
- 使用 n-gram 方法，通过前 n 个词预测下一个词
- 模型使用字典存储，键为前缀词元组，值为可能的后续词列表
文本处理：
- 保留标点符号的分词和重组
- 支持自定义文本作为生成起点
模型特性：
- 可配置的马尔可夫链阶数
- 智能识别句子起始词
- 支持模型保存和加载

关键代码解析

模型训练

def train(self, text):words = self._tokenize(text)for i in range(len(words) - self.order):prefix = tuple(words[i:i+self.order])next_word = words[i + self.order]self.model[prefix].append(next_word)# 记录可能的句子起始词if i == 0 or words[i-1] in ['.', '!', '?']:self.start_words.append(prefix)

文本生成

def generate(self, length=20, seed=None):if not self.model:raise ValueError("模型尚未训练")# 选择起始前缀if seed is None:if self.start_words:prefix = random.choice(self.start_words)else:prefix = random.choice(list(self.model.keys()))else:seed_words = self._tokenize(seed)if len(seed_words) < self.order:raise ValueError(f"种子词数量必须至少为{self.order}")prefix = tuple(seed_words[-self.order:])if prefix not in self.model:raise ValueError(f"提供的种子不在训练数据中")# 生成文本result = list(prefix)for _ in range(length - self.order):if not self.model[prefix]:prefix = random.choice(list(self.model.keys()))result.extend(prefix[1:])else:next_word = random.choice(self.model[prefix])result.append(next_word)prefix = prefix[1:] + (next_word,)return self._detokenize(result)

分词与重组

def _tokenize(self, text):words = re.findall(r'\w+|[^\w\s]', text)return wordsdef _detokenize(self, words):text = ""for i, word in enumerate(words):if word in ['.', '!', '?', ',', ';', ':', '"', "'", ')', ']', '}']:text += wordelif i > 0 and words[i-1] in ['(', '[', '{', '"', "'"]:text += wordelse:text += " " + wordreturn text.strip()

使用说明

从文本文件训练并生成：

python markov_text_generator.py --input sample.txt --length 100

使用自定义起始词：

python markov_text_generator.py --input sample.txt --seed "Once upon a time"

调整马尔可夫链阶数：

python markov_text_generator.py --input sample.txt --order 3 --length 50

保存和加载模型：

# 训练并保存模型
python markov_text_generator.py --input sample.txt --model model.pkl --save# 使用保存的模型生成文本
python markov_text_generator.py --model model.pkl --seed "The story"