ML29_先验概率与边缘概率的对比
1. 先验概率（Prior Probability）
定义：先验概率是在考虑任何新数据或证据之前，对某个事件或假设的初始信念或概率估计。它基于历史信息、经验或主观判断。
例子：假设我们研究某疾病的患病率。已知该疾病在普通人群中的患病率为1%。此时，先验概率 P(患病)=0.01，表示在没有进行任何检测之前，我们认为一个人患病的概率是1%。
关键点：
- 用于贝叶斯推断中，表示参数的初始信念。
- 是主观的或基于历史数据。
- 在时间或逻辑上位于观察数据之前。
2. 边缘概率（Marginal Probability）
定义：边缘概率是从联合概率分布中，通过“边缘化”（即消除其他变量的影响）得到的单一变量的概率。它描述的是某个事件发生的总概率，无论其他变量如何取值。
例子：假设我们有一个关于疾病检测的联合概率分布，其中：
- H 表示患病（H=1）或未患病（H=0），
- D 表示检测结果为阳性（D=1）或阴性（D=0）。
边缘概率 P(D=1) 表示检测结果为阳性的总概率，无论是否患病。我们可以通过以下公式计算：
P(D=1)=P(D=1∣H=1)P(H=1)+P(D=1∣H=0)P(H=0)
这里，P(D=1) 是将变量 H 的所有可能取值（患病或未患病）进行求和后得到的边缘概率。
关键点：
- 是联合概率分布的副产品，通过求和或积分消除其他变量。
- 不涉及时间顺序，仅描述单一变量的概率。
- 应用广泛，不局限于贝叶斯框架。
3. 区别对比
| 特征 | 先验概率 | 边缘概率 |
|---|---|---|
| 定义场景 | 贝叶斯推断中的初始信念 | 联合分布中消除其他变量的概率 |
| 依赖关系 | 不依赖当前数据，仅依赖历史信息 | 依赖联合分布中所有变量的相互作用 |
| 时间/逻辑顺序 | 在观察数据前确定 | 独立于时间顺序，是静态的计算结果 |
| 例子中的角色 | P(H=1)=0.01（患病率） | P(D=1)（检测阳性总概率） |
4. 为什么容易混淆？
-
贝叶斯定理中的交集：在贝叶斯定理 P(H∣D)=P(D)P(D∣H)P(H) 中，P(H) 是先验概率，而 P(D) 是边缘概率。此时，先验概率 P(H) 可以被视为 H 的边缘概率，但两者的应用场景不同。
-
数学形式可能相似：当先验概率是某个变量的边缘概率时（如 P(H) 在联合分布中的边缘化），两者在计算上可能重合，但概念上侧重点不同。
5. 总结
- 先验概率：是贝叶斯推断的起点，强调“初始信念”或“未观察数据前的概率”。
- 边缘概率：是概率论中的基础概念，强调“消除其他变量后的总概率”。
一句话记忆：先验概率是“历史的信念”，边缘概率是“全局的总和”。