Statistics筆記9 - Statistical Inference framework

性別歧視實驗

某個實驗（所以有random assignment)顯示主管在晉升人員與性別的結果顯示如下：

可以看到男女性在晉升的比例差距30%，這解釋有兩種可能：
(1) 這個實驗是單一事件，其結果是隨機造成的，也就是跟性別無關
(2) 的確存在歧視

如何找出答案是(1) or (2)?

Null Hypothesis (現狀，status quo)

簡單來說就是無罪推定。我們永遠有一個參考點：某兩個變數是無關連性的。

所以在此性別歧視實驗中，null hypothesis就是性別跟晉升決定無關。

Alternative Hypothesis （想要推翻現狀的假設）

有罪的推論。相對於Null Hypothesis而言。

Hypothesis Test

我們永遠要根據證據說話，而證據就是我們collect的dataset。

我們永遠持無罪推定原則，除非證據“能”推翻無罪推定，換句話說，我們假設Null Hypothesis成立，同時我們檢視collected dataset是否能出現？如果能出現，表示Null Hypothesis是錯的，應該被推翻（reject)，“傾向採取(in favor of)”Alternative Hypothesis。

這邏輯基本上就是法庭審案的邏輯。

所以inference不一定是能接觸到真實，因為“沒有證據顯示A是原因”不代表“有證據顯示A不是原因”。

Simulation Test

要驗證Null Hypothesis能否被推翻，我們需要gather data。或是另一種做法，用模擬的。

如果會寫程式，可以模擬出48人被晉升的結果。
甚至可以簡單用舖克牌來翻牌來模擬，總之就是要有uniform probability distribution。

假設每次模擬結果為男女晉升的比例差值，則多次模擬的結果可以建立一個“模擬結果的distribution”，稱為simulation distribution：

如果simulation distribution跟collected data distribution差異很大，我們可以reject Null Hypothesis，傾向兩者變數是有關聯性的。

根據上圖的simulation distribution，發生 > 30%機率相當的低，所以此為證據顯示Null Hypothesis（男女晉升比例差距高於30%是一個隨機發生的事件) 發生的機率相當的低，此證據足以讓我們rejec null hypothesis。

inference結論如下：性別歧視實驗的結果（30%的男女晉升差距）顯示有證據支持男女晉升比例與性別的有關聯性。

P-Value?!

我們需要一個threshold (p-value)來決定是否reject null hypothesis。

注意simulation distribution是模擬null hypothesis成立時的機率分布，如果experiment結果觀察到了不太可能(i.e. 發生機率 < p-value) 在null hypothesis為真的前提下發生的事件，則表示null hypothesis為false，應該要被推翻。