全文索引可能涉及的技术

全文索引是一种用于在文本数据中高效查找特定信息的技术，除了分词技术外，还会涉及到以下多种关键技术：

1. 词干提取与词形还原

• 词干提取（Stemming）
  • 原理：它是一种去除单词词缀（如前缀、后缀）以获取单词基本形式（词干）的技术。例如，“running”、“runs”、“ran” 等词经过词干提取后可能都会得到 “run” 这个词干。
  • 作用：在全文索引中，通过词干提取可以将同一词的不同变形形式归为一类，减少索引的词汇量，提高索引的效率和查询的召回率。比如，当用户查询 “run” 时，能够同时匹配到包含 “running”、“runs” 等相关形式的文档。
• 词形还原（Lemmatization）
  • 原理：与词干提取类似，但它更注重将单词还原为其字典形式（词元），会考虑单词的词性和上下文。例如，“better” 的词形还原结果是 “good”，“am”、“is”、“are” 的词形还原结果都是 “be”。
  • 作用：在全文索引中，词形还原可以使索引更加准确地反映单词的语义，提高查询的准确性。当用户查询 “good” 时，能够匹配到包含 “better” 的文档。

2. 停用词过滤

• 原理