Linear Algebra筆記1 - Linear Combination

Row picture (matrix Ax = b form)

一組linear equations可以用matrix和vector來重寫等式，其中一種寫法是row picture:

A matrix: 把所有係數由左至右，由上至下排列

Column picture (linear combination of columns)

同樣一組equations可以寫成以下形式，稱為linear combinations of columns:

每個未知數的係數寫成column vector，並且乘上此未知數。

x和y即為column vectors的linear combination。


正式定義：

幾何觀點

根據前面提到的equations，如果取(x,y) = (1,2)為一個解，則在2D平面上，這個equation組可以得到一個點，即(0,3)：

若不考慮一定要組成(0,3)的話，任意(x,y)即可和此column vectors組合成一個平面（相當於三個點組合成一個平面）。

以下圖為例，u+v相當於u的各種角度的旋轉，半徑則由||u||決定，所以的確是能涵蓋u和v所在的平面的所有點。

Row picture的邏輯不適合解linear equations

如果有三個未知數的時候，幾何上row picture的解會是三個平面的交會點：（注意座標軸為XYZ)

如果寫成linear combinations of column vectors（matrix A的column vectors)，則相當於座標定義轉換了，3個座標變成column vector的3個component:

不過也還是不能一眼看出答案（很難有這種case），需要下一堂課教的高斯消去法來做到。

我們能解出任意b for Ax=b嗎？

不一定，要看這個matrix是不是singular matrix，如果不是才能找到x來組成任意b，意即填滿3-dimensional space。

幾何上，如果所有的column vectors都在同一個平面上（注意座標係不是XYZ，而是vector item1 2 3)，則其linear combination當然就無法填滿3D space。計算上如果某個column是另外兩個column的linear combination，就會落入同一個平面，因為相當於只有兩個vectors要map到整個3D space。

當然以上的邏輯可以推展到n-column vectors & n-D space。

Ax=b的計算方式

(1) 按照A's column的linear combination方式：

舉例來說：Ax可以看成x1*col1 + x2*col2:

(2) 高中時候教的row dot-product vector的方式：

SUM(b_i) = SUM(row_i dot vector)