当前位置：首页 > wzjs >正文

莱州网站建设关键字排名优化网络托管微信代运营seo系统教程

wzjs 2025/7/22 4:07:58

莱州网站建设关键字排名优化网络托管微信代运营,seo系统教程,网站怎么做来流量,石家庄最新疫情确诊轨迹语料库研究已经成为科学研究公认的相比较权威的研究范式。在开始使用语料库研究前需要对文本进行清洁处理，除了清除空段、删除字符前后的空格、制表位外，我还要需要对文本进行分词、筛选、去重等操作。普通的语料库工具可能需要来回切换，同时…

语料库研究已经成为科学研究公认的相比较权威的研究范式。在开始使用语料库研究前需要对文本进行清洁处理，除了清除空段、删除字符前后的空格、制表位外，我还要需要对文本进行分词、筛选、去重等操作。普通的语料库工具可能需要来回切换，同时文本的处理速度也会不尽如人意，如果使用Python就可以利用NLTK等自然语料处理工具、以及Python中常用的文本处理模块进行文本处理。

一、清除字符串前后的无效字符

我们可以采用strip()这个方法，它可以清除字符串前后的空格、制表位、换行符等。如下例：

text = "  Corpus Analysis in Academic Research  \r\n"
print(text.strip())

操作示例

还可以使用strip()把字符串前后的无效字符删除，如下面的这个例子。

text = " aaa 语料库分析在科学研究中的应用 ppp"
print(text.strip("a|p| "))

采用以上方法，可以把多余的字母a或p或空格删除掉。注意使用正则表达式时，需要用引号括起来。

删除多余的字符

二、清除数字但不清除带有数字的单词

在Python中我们可以使用isdigit()清除所有数字，用isalpha()清除所有字母。但是需要注意的是，如果想保留带有数字的单词，如5-year-old这个词，就需要使用not word.isdigit(）, 因为isdigit()可以用于判断字符是否由数字构成。

所以要清除句子中的数字，可以先使用nltk.word_tokenize()分词，然后用集合推导式，清除数字，同时去重。

import nltk
text = 'This handbook contains 3 volumes. The 5-year-survival rate was elevated. The rate is amazing.'
tokenized_text = nltk.word_tokenize(text)
print({word.lower() for word in tokenized_text if not word.isdigit()})

去数字+去重

三、清除数据中的标点并把单词改为小写字母

我们可以从string中导入puctuation这个模块，然后在集合推导式用用它去标点。可以用word.lower()的方法把单词的大写都改为小写。

import nltk
from string import punctuation
text = 'This handbook contains 3 volumes. The 5-year-survival rate was elevated. The rate is amazing.'
tokenized_text = nltk.word_tokenize(text)
print({word.lower() for word in tokenized_text if not word.isdigit() and word not in punctuation})

四、如何提升清理速度

以上代码使用的是nltk中的分词工具，在数据比较多时会相对慢一些，如果在要求不是特别严格的情况下，可以使用re正则模块进行分词，这样可以大大提升分词的速度。

使用re的好处是直接定义词的构成，不需要再导入额外的模块清除标点了。re.findall()可以利用正则表达式，找到符合要求的词并提取出来。

import re
text = 'This handbook contains 3 volumes. The 5-year-survival rate was elevated. The rate is amazing.'
words = re.findall(r'[A-z-0-9]+', text) #定义一个词由数字、字母和-组成。
print({word.lower() for word in words if not word.isdigit()})

而且最后生成的效果和之前的一样。

对比nltk和re的分词结果

五、用SpaCy来实现快速清洗

除了使用NLTK、Re来实现文本清洗外，还可以使用SpaCy这个自然语言文本处理库，它自带预训练的管道，目前支持 60 多种语言的标记化和训练。由于它具有最先进的速度和神经网络模型，因此可用于标记、解析、命名实体识别、文本分类等。它的模型从sm(small)，至md(medium)，再到lg(large)，准确性逐步提升，但是其个头也在不断增大。

使用SpaCy，我们不需要导入nltk, string等库，可以直接利用它的管道，一步到位。使用前需要先

通过：pip install spacy进行安装，下载相关模型，如en_core_web_sm，如果下载比较慢，可以直接去github上下载。需要注意的是，这里SpaCy直接把单词进行了还原，这是之前的方法所无法实现的，而且代码非常简洁，短短，几行代码就实现了变分词、变小写、词形还原、去标点、去停用词等功能，唯一的缺点时配置时有一点儿小麻烦，下面是一个样例代码供参考：

import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("Apple is looking at buying U.K. startup.")
print({x.lemma_.lower() for x in doc if not x.is_stop and not x.is_punct})