贝叶斯原理

2024-01-21

贝叶斯原理是一个对于帮助读者理解Diffusion Model的重要的概念。这篇文章是《Diffusion Model的底层数学原理》一文的前置内容。

友情提醒，这篇文章涉及到少部分概率内容，但不会进行更深入的数学讨论和分析，请酌情观看。

概率

在中学时，我们就已经接学习过经典概率论。

$E g 1 .$
一个袋子中，有6个橘球，2个绿球。问其中抽到橘球的概率是多少？

答：3/4

我们将取球这个事件，记做为“A”。取出橘球这个事件，记为 $A_{O}$ ，取出绿球这个事件，记为 $A_{G}$ 。

将P定义为事件的概率，那么 $P (A_{O}) = \frac{3}{4}$ 就翻译为：“抽出橘球的这件事发生的概率为3/4”

$E g 2 .$
现在，我们再增加一个袋子，让其分别是：

1.红色袋子：有6个橘球，2个绿球

2.蓝色袋子：有1个橘球，3个绿球

假设选中红色袋子的概率为40%，选中蓝色袋子的概率为60%。
记做 $P (B_{R e d}) = 0.4$ , $P (B_{B l u e}) = 0.6$
要求“抽出橘球的概率”，该如何求出呢？

可以观察到，取出球这个事件，已经由一个单一的简单事件，变成了两个独立但互相关联的复合事件。

第一步：选一个袋子，记为 B
第二步：抽一个球，记为 A

解答这个问题时，很容易想当然的认为

P (A_{O}) = \frac{7}{1 2}

，因为总共12个球，其中7个是橘色的。
首先，我们知道这里的事件是分两步的，即先选袋子，再取球。而粗暴的把球和在一起，这个不符合原有的题意。
二是，红袋子和蓝袋子中的小球数量不等，并在一起计算就会导致蓝色袋子中的球比例缩放（或扩大），从而导致结果失真。举个例子，把这个红袋子中的球都换成绿色的，那么和在一起算，蓝色袋子选出一个橘球的概率为 1/4，而合并之后这个比例一下跌到 1/12，差了3倍。所以即使要合在一起计算，也需要将两个袋子内的球数调整为一样才行。（也即：总球数 16，橘球 8）
所以

P (A_{O}) = \frac{7}{1 2}

是一个错误答案。

红色袋子取出橘球的概率是 3/4，记做 $P (A_{O} ∣ B_{R e d}) = \frac{3}{4}$

蓝色袋子取出橘球的概率是 1/4，记做 $P (A_{O} ∣ B_{R e d}) = \frac{1}{4}$

第一步选中了红色袋子，且第二步选中了橘球的概率为 $P (B_{R e d}) P (A_{O} ∣ B_{R e d}) = \frac{4}{1 0} \cdot \frac{3}{4} = \frac{3}{1 0}$

第一步选中了蓝色袋子，且第二步选中了橘球的概率为 $P (B_{B l u e}) P (A_{O} ∣ B_{B l u e}) = \frac{6}{1 0} \cdot \frac{1}{4} = \frac{3}{2 0}$

则 $P (A_{O}) = P (B_{R e d}) P (A_{O} ∣ B_{R e d}) + P (B_{B l u e}) P (A_{O} ∣ B_{B l u e}) = \frac{9}{2 0}$

若 $P (B_{R e d}) = P (B_{G r e e n}) = \frac{1}{2}$ ，则 $P (A_{O}) = \frac{1}{2}$

全概率公式

例2 中所求的 $P (A_{O})$ 就是求 $A_{O}$ 所发生的全概率.

A的全概率，即到最终事件A的所有前置分支事件 $B_{i}$ 的概率之和。即：
$P (A) = \sum P (B_{i}) P (A ∣ B_{i})$

也可以按照路径的概念来理解：

到达目的地 A 的路径共有n条，每条路径的选择率为 $P (B_{i}) P (A ∣ B_{i})$ ，将每条路径的选择率相加到一起就是 A 的全概率。

先验概率

刚才讨论了很多：

从红色袋子中抽出一个橘球的概率 $P (A_{O} ∣ B_{R e d})$

从蓝色袋子中抽出一个橘球的概率 $P (A_{O} ∣ B_{B l u e})$

选择红袋子的概率 $P (B_{R e d})$

选择了红袋子后接着抽出了橘球的概率 $P (B_{R e d}) P (A_{O} ∣ B_{R e d})$

上面这些，都称为先验概率，它是在实验开始前，对于结果的预测。也即因为原因B，会导致事件A发生的概率。

比如：加州东南方有一块巨大的云层(B)，有95%的可能导致明天洛杉矶下雨(A)，即 $P (A ∣ B) = 95 %$

后验概率和贝叶斯公式

后验概率往往都是结果A已经出现了，要寻求具体原因B。而在这个寻找的过程中，每次收集到的新信息，就会将会迭代更新B，以达到逼近真实的原因的目的。

比如：

今天下雨了(A)

100% 是因为东南角的云(B) <- 第一次迭代
雨不是很大(C)，90% 是因为东南角的云(B) <- 第二次迭代
看到了阳光(D)，30% 是因为东南角的云(B) <- 第三次迭代
新闻说乌云还没到(E)，1% 是因为东南角的云(B) <- 第四次迭代
新闻是杜撰的(F), 40% 是因为东南角的云(B) <- 第五次迭代
阳光其实是的晴空灯(G), 70% 是因为东南角的云(B) <- 第六次迭代
雨突然下大了(G), 77% 是因为东南角的云(B) <- 第七次迭代

随着条件越多，那么A的全概率

P (A)

也更接近真实值，其中的一条路径

P (B_{i}) P (A ∣ B_{i})

占所有路径的概率（比值）

P (A)

，就是A对B的后验概率。

记做 $P (B_{i} ∣ A)$ ，即贝叶斯公式：

P (B_{i} ∣ A) = \frac{P ( B _{i} ) P ( A ∣ B _{i} )}{P ( A )} = \frac{P ( B _{i} ) P ( A ∣ B _{i} )}{\sum P ( B _{n} ) P ( A ∣ B _{n} )}

如下图所示:

回到例二：

如果取出了一个橘球，那么它来自于红色袋子的概率是多少？

根据贝叶斯公式，易得：

已 知 P (B_{R e d}) = \frac{2}{5}, P (B_{G r e e n}) = \frac{3}{5} P (A_{O} ∣ B_{R e d}) = \frac{3}{4}, P (A_{O} ∣ B_{G r e e n}) = \frac{1}{4} P (B_{R e d} ∣ A_{O}) = \frac{P ( B _{R e d} ) P ( A _{O} ∣ B _{R e d} )}{P ( A _{O} )} = \frac{P ( B _{R e d} ) P ( A _{O} ∣ B _{R e d} )}{P ( B _{R e d} ) P ( A _{O} ∣ B _{R e d} ) + P ( B _{G r e e n} ) P ( A _{O} ∣ B _{G r e e n} )} = \frac{\frac{2}{5} \cdot \frac{3}{4}}{\frac{2}{5} \cdot \frac{3}{4} + \frac{3}{5} \cdot \frac{1}{4}} = \frac{2}{5} \cdot \frac{3}{4} \cdot \frac{2 0}{9} = \frac{2}{3}