十七、自然语言处理概述

十七、自然语言处理概述

17.1 NLP基本概念与定义

什么是自然语言处理？

自然语言处理（Natural Language Processing，NLP）是人工智能和语言学的一个交叉学科领域，旨在让计算机能够理解、解释和生成人类语言。从技术角度讲，NLP研究如何通过计算方法处理和分析大量的自然语言数据。

核心问题与挑战

自然语言处理面临的核心挑战源于人类语言的复杂性和歧义性：

语言歧义问题

词汇歧义：同一个词在不同语境下有不同含义

• 例：“bank"可以指"银行"或"河岸”

句法歧义：同一句子可能有不同的语法结构

• 例：“I saw the man with the telescope” 可以理解为：
  • 我用望远镜看到了那个人
  • 我看到了拿着望远镜的那个人

语义歧义：同一表达在不同语境下意义不同

这些歧义问题的数学表达可以用条件概率来描述。给定一个词 w