条件概率、概率乘法公式、全概率公式和贝叶斯 (Bayes) 公式

定义 设$P(A)>0$，若在随机事件$A$发生的条件下随机事件$B$发生的概率记作$P(B|A)$，定义

$$P(B|A)=\frac{P(AB)}{P(A)}$$

则称$P(B|A)$是事件$A$发生的条件下事件$B$发生的条件概率。

定理 设$A,B$为两个随机事件且$P(A)>0$，则

$$P(AB)=P(B|A)P(A)\text{\hspace{1em}(1.1)}$$

或者，若$P(B)>0$，则

$$P(AB)=P(A|B)P(B)\text{\hspace{1em}(1.2)}$$

式 (1.1) 和式 (1.2) 都称为概率乘法公式。

概率乘法公式可以推广到多个事件的情形：设$A_1,A_2,\cdots ,A_n$是先后相继的$n$个随机事件，且满足$P(A_1{A}_2\cdots A_{n-1})>0$，则

$$P(A_1{A}_2\cdots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1{A}_2)\cdots P(A_n|A_1{A}_2\cdots A_{n-1})$$

定义 设$\Omega$为随机试验$E$的样本空间，$B_1,B_2,\cdots ,B_n$为$E$的一组随机事件，若

(1)$B_i{B}_j=\varnothing ,i\ne j,i,j=1,2,\cdots ,n$;

(2)$B_1\cup B_2\cup \cdots \cup B_n=\Omega$,

则称$B_1,B_2,\cdots ,B_n$为样本空间$\Omega$的一个划分（或完备事件组）。

注：$\sum _{i=1}^n{B}_i=\Omega$也可以作为划分的定义。

定理 设$B_1,B_2,\cdots ,B_n$为样本空间$\Omega$的一个划分且$P(B_i)>0,i=1,2,\cdots ,n$，则对于任意随机事件$A$有

$$P(A)=\sum _{i=1}^{n}P(A|B_i)P(B_i),\text{\hspace{1em}(1.3)}$$

式 (1.3) 称作全概率公式。

证明 因为$A=A\Omega =A{\sum }_{i=1}^n{B}_i={\sum }_{i=1}^{n}A{B}_i$，所以

$$P(A)=P\left(\sum _{i=1}^{n}A{B}_i\right)=\sum _{i=1}^{n}P(A{B}_i)=\sum _{i=1}^{n}P(A|B_i)P(B_i)$$

全概率公式突出了一个“全”，即任何随机事件$A$发生的概率是其全部影响因素$B_1,B_2,\cdots ,B_n$的综合作用效果，即其各个影响因素的加权平均，各自的权重是每个因素出现的概率$P(B_i),i=1,2,\cdots ,n$。

图片中的内容是关于全概率公式的最简单形式。具体如下：

全概率公式的最简单形式

假如$0<P(B)<1$，则

$$P(A)=P(B)P(A|B)+P(\overline{B})P(A|\overline{B})$$

这个公式表示事件$A$发生的总概率可以通过在事件$B$发生和不发生两种情况下的条件概率加权求和得到。

定理 设$B_1,B_2,\cdots ,B_n$为样本空间$\Omega$的一个划分且$P(B_i)>0,i=1,2,\cdots ,n$，则对于任意随机事件$A$且$P(A)>0$有

$$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum _{j=1}^{n}P(A|B_j)P(B_j)},i=1,2,\cdots ,n\text{\hspace{1em}(1.4)}$$

式 (1.4) 称作贝叶斯 (Bayes) 公式。

$P(B_i|A)$：后验概率，表示在事件 $A$ 发生的条件下，条件 $B_i$ 发生的概率。
$P(A|B_j)$：类条件概率，表示在条件 $B_j$ 存在时，结果事件 $A$ 发生的概率。
$P(B_j)$：先验概率，表示各不相容的条件存在的概率，与结果 $A$ 是否出现无关，仅表示根据先验知识或主观判断，认为总体上各条件出现的可能性有什么差别。
$P(A)$：结果 $A$ 在各个条件下出现的总体概率。

贝叶斯公式是利用已有结论重新评估或修正各个条件出现的概率，公式中的$P(B_i)$和$P(B_i|A)$分别称作原因或条件的先验概率和后验概率。$P(B_i),i=1,2,\cdots ,n$是在没有进一步信息（不知道事件$A$是否发生）的前提下认定的各条件发生的概率；在获得了新的信息（事件$A$已经发生）后，对先前各条件发生概率的修正，即形成概率$P(B_i|A)$。