AI：初识NLP
自然语言处理 NLP
自然语言处理（Natural Language Processing，简称 NLP）是人工智能（AI）和计算语言学的重要分支，旨在实现计算机对自然语言的“理解”、“生成”、“分析”与“交互”。NLP 涉及语言学、计算机科学、统计学等多个学科，广泛应用于搜索引擎、智能客服、机器翻译、舆情分析等领域。
🧠 一、NLP 的核心任务
1. 文本预处理
用于将原始文本转化为机器能理解的结构化数据。
- 分词：将文本划分为词语（对中文尤其重要）
- 去停用词：移除“的”、“了”、“在”等无实际含义的词
- 词性标注：标注每个词的词性（名词、动词等）
- 词干提取 / 词形还原：将不同形式的词还原为基本形式（如 “running”→“run”）
2. 语言建模
估计词序列的概率。
- N-gram模型
- RNN/LSTM/Transformer 等神经网络模型