机器学习基础 - 分类模型之朴素贝叶斯

朴素贝叶斯

---

1. 基本概念

1. 条件概率

$$P(X|Y)=\frac{P(X,Y)}{P(Y)}$$

• $P(X|Y)$含义： 表示 y 发生的条件下 x 发生的概率。

2. 先验概率

• 含义： 表示事件发生前的预判概率。 这个可以是基于历史数据统计，也可以由背景常识得出，也可以是主观观点得出。一般都是单独事件发生的概率，如 P(A)

3. 后验概率

• 基于先验概率求得的反向条件概率，形式上与条件概率相同（若 P(X|Y) 为正向，则 P(Y|X) 为反向）

2. 贝叶斯公式

贝叶斯公式如下：
$$P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}$$

• P(Y) 叫做先验概率，意思是事件X发生之前，我们对事件Y发生的一个概率的判断
• P(Y|X) 叫做后验概率，意思是时间X发生之后，我们对事件Y发生的一个概率的重新评估
• P(Y,X) 叫做联合概率， 意思是事件X与事件Y同时发生的概率。

3. 条件独立假设

P ( x ∣ c ) = p ( x 1 , x 2 , ⋯ x n ∣ c ) = ∏ i = 1 N p ( x i ∣ c ) P(x|c) = p(x_1, x_2, \cdots x_n | c) = \prod_{i=1}^Np(x_i | c) P(x∣c)=p(x1​,x2​,⋯x