Textacy：Python 中的文本数据清理和规范化简介

Textacy：Python 中的文本数据清理和规范化简介

了解 Python 库 Textacy 如何简化机器学习的文本数据预处理。了解其字符规范化和数据掩码等独特功能，并了解它与 NLTK 和 spaCy 等其他库的比较。

Textacy 字符规范化

字符规范化是将文本数据转换为标准格式的过程，这在处理多语言文本数据时尤为重要。

Text = ’ “Saint-Raphaël” 咖啡馆位于 Cote d’Azur。

重音字符是文本规范化中的一个常见问题，可能会显著影响机器学习模型的准确性。出现问题的原因是人们没有始终使用重音字符，这可能会导致数据不一致。

例如，标记 “Saint-Raphaël” 和 “Saint-Raphael” 可能引用同一实体，但如果不进行规范化，它们将不会被识别为相同。此外，文本通常包含由连字符分隔的单词，而上述文本中使用的撇号可能会成为分词化的问题。对于所有这些问题，将文本规范化并用 ASCII 等效字符替换重音符号和花哨字符是有意义的。

为此，我们将使用 Textacy，因为它有一系列很好的预定义函数，可以以简单有效的方式解决这个问题。下表显示了 Textacy 的一系列预处理函数，这些函数可以独立于任何其他库工作。

功能	描述
规格化_hyphentated_words	重新组合由换行符分隔的单词
normalize_quotation_marks	用 ASCII 等效引号替换各种花哨的引号
normalize_unicode	统一 Unicode 中重音字符的不同代码
remove_accents	将重音字符替换为 ASCII
replace_emails	将电子邮件替换为 EMAIL
replace_urls	将 url 替换为 URL

text = "The café "Saint-Raphaël" is loca-\nted on Cote dʼAzur."import textacy
import textacy.preprocessing as tprepdef normalize(text):text = tprep.normalize_hyphenated_words(text)text = tprep.normalize_quotation_marks(text)text = tprep.normalize_unicode(text)text = tprep.remove_accents(text)return text

使用上述基于预定义 Textacy 预处理函数的函数 normalize 将帮助我们以最小的努力解决归一化问题。

print(normalize(text)

The cafe Saint-Raphael is located in Cote d' Azure

Textacy 数据掩码

文本数据通常不仅包含普通单词，还包含多种标识符，例如 URL、电子邮件地址或电话号码。有时我们对这些项目特别感兴趣。不过，在许多情况下，最好删除或掩盖这些信息，因为它不相关或出于隐私考虑。

Textacy 有一些方便的数据屏蔽替换功能，如上表所示。这些 replace 函数是预定义的，因此可以轻松屏蔽敏感或不相关的信息，而无需编写自定义正则表达式函数。

text = "Check out https://spacy.io/usage/spacy-101"print(replace_urls(text))

Check out __URL__

总结

在本文中，我们展示了如何使用 textacy 来简化文本数据的数据预处理过程。凭借其一系列内置函数，Textacy 可以轻松处理常见的预处理挑战，例如字符规范化和数据掩码。

通过简化预处理过程，Textacy 为专注于自然语言处理中更复杂和更具挑战性的方面铺平了道路。无论您是在进行情感分析、主题建模还是任何其他 NLP 任务，Textacy 都可以帮助您快速有效地为数据做好准备以进行分析。