Machine Learning筆記2 - Block2: Probabilistic Model

Probabilistic Model

就是一些機率分布的集合，例如可能是某類機率分佈(a distribution family))，但是我們不知道其真正的參數theta:

以前章的例子來說，我們假設一個合理的model是multivariate Gaussian，這就是一個distribution family，但是我們不知其確切的theta參數組合（mean and sigma):

Assumptions for data

在使用model的時候，我們通常會有一些假設。舉例來說，一個常見對data的假設就是所有的data都是獨立(idependent)且有相同機率分布的(identically distributed)，稱為i.i.d。

所以我們在使用multivariate Gaussian作為distribution family時，即便我們不知道真正的theta，我們還是假設所有的data是獨立的從同一組theta參數組成的multivariate Gaussian產生的：

所謂的獨立(independent)的確切定義可以參考之前的機率筆記：Independent Event。

由於每個random variable xi是獨立的，所以joint probability（影片中用的是density，可是probability不等於是density，奇怪）是所有的xi probability的乘積：