当前位置：首页 > news >正文

Python语料数据清洗方法之一

news 2025/7/15 22:49:39

语料库研究已经成为科学研究公认的相比较权威的研究范式。在开始使用语料库研究前需要对文本进行清洁处理，除了清除空段、删除字符前后的空格、制表位外，我还要需要对文本进行分词、筛选、去重等操作。普通的语料库工具可能需要来回切换，同时文本的处理速度也会不尽如人意，如果使用Python就可以利用NLTK等自然语料处理工具、以及Python中常用的文本处理模块进行文本处理。

一、清除字符串前后的无效字符

我们可以采用strip()这个方法，它可以清除字符串前后的空格、制表位、换行符等。如下例：

text = "  Corpus Analysis in Academic Research  \r\n"
print(text.strip())

操作示例

还可以使用strip()把字符串前后的无效字符删除，如下面的这个例子。

text = " aaa 语料库分析在科学研究中的应用 ppp"
print(text.strip("a|p| "))

采用以上方法，可以把多余的字母a或p或空格删除掉。注意使用正则表达式时，需要用引号括起来。

删除多余的字符

二、清除数字但不清除带有数字的单词

在Python中我们可以使用isdigit()清除所有数字，用isalpha()清除所有字母。但是需要注意的是，如果想保留带有数字的单词，如5-year-old这个词，就需要使用not word.isdigit(）, 因为isdigit()可以用于判断字符是否由数字构成。

所以要清除句子中的数字，可以先使用nltk.word_tokenize()分词，然后用集合推导式，清除数字，同时去重。

import nltk
text = 'This handbook contains 3 volumes. The 5-year-survival rate was elevated. The rate is amazing.'
tokenized_text = nltk.word_tokenize(text)
print({word.lower() for word in tokenized_text if not word.isdigit()})

去数字+去重

三、清除数据中的标点并把单词改为小写字母

我们可以从string中导入puctuation这个模块，然后在集合推导式用用它去标点。可以用word.lower()的方法把单词的大写都改为小写。

import nltk
from string import punctuation
text = 'This handbook contains 3 volumes. The 5-year-survival rate was elevated. The rate is amazing.'
tokenized_text = nltk.word_tokenize(text)
print({word.lower() for word in tokenized_text if not word.isdigit() and word not in punctuation})

四、如何提升清理速度

以上代码使用的是nltk中的分词工具，在数据比较多时会相对慢一些，如果在要求不是特别严格的情况下，可以使用re正则模块进行分词，这样可以大大提升分词的速度。

使用re的好处是直接定义词的构成，不需要再导入额外的模块清除标点了。re.findall()可以利用正则表达式，找到符合要求的词并提取出来。

import re
text = 'This handbook contains 3 volumes. The 5-year-survival rate was elevated. The rate is amazing.'
words = re.findall(r'[A-z-0-9]+', text) #定义一个词由数字、字母和-组成。
print({word.lower() for word in words if not word.isdigit()})

而且最后生成的效果和之前的一样。

对比nltk和re的分词结果

五、用SpaCy来实现快速清洗

除了使用NLTK、Re来实现文本清洗外，还可以使用SpaCy这个自然语言文本处理库，它自带预训练的管道，目前支持 60 多种语言的标记化和训练。由于它具有最先进的速度和神经网络模型，因此可用于标记、解析、命名实体识别、文本分类等。它的模型从sm(small)，至md(medium)，再到lg(large)，准确性逐步提升，但是其个头也在不断增大。

使用SpaCy，我们不需要导入nltk, string等库，可以直接利用它的管道，一步到位。使用前需要先

通过：pip install spacy进行安装，下载相关模型，如en_core_web_sm，如果下载比较慢，可以直接去github上下载。需要注意的是，这里SpaCy直接把单词进行了还原，这是之前的方法所无法实现的，而且代码非常简洁，短短，几行代码就实现了变分词、变小写、词形还原、去标点、去停用词等功能，唯一的缺点时配置时有一点儿小麻烦，下面是一个样例代码供参考：

import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("Apple is looking at buying U.K. startup.")
print({x.lemma_.lower() for x in doc if not x.is_stop and not x.is_punct})