Probability筆記5 - 貝氏定理

定義

貝氏定理其實就是conditional probability的另一個詮釋，因為如果AB符號互換，我們可以得到：

所藉由上式，我們可以從P(A|B)與P(B|A)其中一值算出另一值，通常貝氏定理只是把conditional probability寫成以下式子：

不過實務上，通常最難算出或是無法得到的是P(B)，這時候我們可以藉由B的partitions的機率總和（根據公理三），來算出P(B)，一種可能的partition如下：

一個例子

一個6面骰子和20面骰子隨機選擇其中一個，如果出現了5，請問是20面骰子的機率是多少？
這明顯是一個conditional probability問題，要定義A和B是什麼event?

我們要求的是P(A|B)，所以定義：
B為出現5的event，這個不能直覺得到
A為是20面骰子的event，P(A) = P(A^c) = 1/2 因為骰子2選1

根據上面公式，我們可以直接用第三個等式來代替不容算出的P(B)，其實P(B)並沒有難算出啦，這題只是用來解釋上面公式可以如何利用。

所以:
P(B|A) = 1/20 ，因為我們把A能投擲出的outcomes當作新的sample space
P(B|A^c) 就要思考一下，A沒出現的event就是6面骰子出現的event，所以新的sample space的大小為6，丟出五的機率為1/6

填入所有的數字：

Bayesian Inference

貝氏定理的重要應用是在inference，也就是藉由觀察到果，來修正可能的因的發生機率：

P(Ai)相當於initial belief，而且我們也對disjoint Ai發生導致B有些信念P(B|Ai)。
不過如果觀察到B的確是在某個Ai發生的話P(Ai|B)，我們對不同Ai導致B的信念程度就要修正P(B|Ai)。