Machine Learning筆記4 - Multivariate Gaussian model範例

Model & Learning Objective

摘要一下目前所講的：

解logarithm equation

真的去微分來解，先對mean做偏微分：

當mean = empirical average的時候，上面等式成立：

所以跟covariance無關(所以我們才先求mean_hat)，這樣我們就求出了maximum likelihood mean。

再來就是對covariance做偏微分，這是一個dxd matrix:

最後得出一個covariance和mean的function，我們把maximum likelihood mean帶入：

上面式子就是maximum likelihood covariance，正好是empirical covariance。

必須承認，對multivariate calculus不熟悉，看這些式子還真一隻半解。

結論

Machine Learning其實有一點藝術成分在內，因為我們必須對蒐集到的data有一些想像與假設，但是這些假設很可能是錯的（例如data不是獨立的），或是不能generalize到新的data，而且選取model也是比較嘗試性的措施。不過一但確定了model與objective function，optimize objective function就是一個絕對性的科學舉動。