条件概率、独立与贝叶斯公式

条件概率与乘法公式

设 $A,B$ 是同一随机试验中的事件。已知 $B$ 发生后，研究 $A$ 发生的概率，称为在条件 $B$ 下 $A$ 的条件概率，记为 $P(A\mid B)$。当 $P(B)>0$ 时，定义

分子保留同时满足两项要求的结果，分母把条件事件的概率重新归一化为 $1$。因此 $P(B\mid B)=1$，且 $0\le P(A\mid B)\le1$。这里没有假定原样本点等可能；只有在有限等可能模型中，才可进一步写成 $\lvert A\cap B\rvert/\lvert B\rvert$。

将定义移项，得到乘法公式：

若 $P(A)>0$，也可写成 $P(A)P(B\mid A)$。三个事件的版本为

其中要求 $P(A\cap B)>0$，从而前两个条件概率均有定义。这是连续两次使用乘法公式的结果，不要求三个事件独立。

全概率公式

设 $B_1,\ldots,B_n$ 两两互斥，$B_1\cup\cdots\cup B_n=\Omega$，且 $P(B_i)>0$。这组事件给出全部结果的一种分类。则对任意事件 $A$，

证明。 每个属于 $A$ 的结果恰好落在一个 $B_i$ 中，因此

是互斥并。由概率的可加性及乘法公式，

若分类中有零概率事件，可先把这些事件的交集贡献记为 $0$，只对正概率类别计算条件概率，不能写出未定义的 $P(A\mid B_i)$。

贝叶斯公式

在上述分类条件下，若又有 $P(A)>0$，则

证明。 根据条件概率定义，左边等于 $P(A\cap B_j)/P(A)$。分子用乘法公式展开，分母用全概率公式展开，即得结论。

$P(B_j)$ 是观察到 $A$ 之前第 $j$ 类的概率；$P(B_j\mid A)$ 是观察到 $A$ 后重新计算的概率。计算时先明确分类，再计算各类产生 $A$ 的概率，最后除以所有类别产生 $A$ 的总概率。

独立事件：定义、补事件与多个事件

若

则称事件 $A,B$ 相互独立。这个定义也适用于零概率事件。当 $P(B)>0$ 时，它等价于 $P(A\mid B)=P(A)$；当 $P(A)>0$ 时，也等价于 $P(B\mid A)=P(B)$。

若 $A,B$ 独立，则 $A,\overline B$，$\overline A,B$，$\overline A,\overline B$ 也分别独立。

证明。 因为 $A=(A\cap B)\cup(A\cap\overline B)$ 是互斥并，

交换 $A,B$ 可得第二组；再对第一组取 $A$ 的补事件，得到第三组。

事件 $A_1,\ldots,A_n$ 相互独立，是指任取至少两个不同下标 $i_1,\ldots,i_r$，均有

只检验每一对事件满足乘法关系，得到的是两两独立，一般不足以推出相互独立。

例如独立抛两枚公平硬币，令 $A$ 为第一枚正面，$B$ 为第二枚正面，$C$ 为两枚同面。三者概率都是 $1/2$，任意两个同时发生的概率都是 $1/4$，但

所以它们两两独立，却不相互独立。

对相互独立的 $n$ 个事件，“至少一个发生”的概率为

这里用到了补事件仍相互独立；这一结论可反复使用上面的减法论证得到。