機器學習中的線性代數

線性代數作為數學中的一個重要的分支，廣發應用在科學與工程中。掌握好線性代數對于理解和從事機器學習算法相關的工作是很有必要的，尤其是對于深度學習而言。因此，在開始介紹深度學習之前，先集中探討一些必備的線性代數知識。

2.1 標量，向量，矩陣和張量

標量（scalar）：一個標量就是一個單獨的數。用斜體表示標量，如s∈R

.

向量（vector）：一個向量是一列數，我們用粗體的小寫名稱表示向量。比如x

，將向量x

寫成方括號包含的縱柱：

矩陣（matrix）：矩陣是二維數組，我們通常賦予矩陣粗體大寫變量名稱，比如A。如果一個矩陣高度是m，寬度是n，那么說A∈Rm×n。一個矩陣可以表示如下：

張量（tensor）：某些情況下，我們會討論不止維坐標的數組。如果一組數組中的元素分布在若干維坐標的規則網絡中，就將其稱為張量。用A表示，如張量中坐標為(i,j,k)的元素記作Ai,j,k。

轉置（transpose）：矩陣的轉置是以對角線為軸的鏡像，這條從左上角到右下角的對角線稱為主對角線（main diagonal）。將矩陣A

的轉置表示為A?

。定義如下：

矩陣乘法是矩陣運算中最重要的操作之一。兩個矩陣A

和B的矩陣乘積(matrix product)是第三個矩陣C。矩陣乘法中A的列必須和B的行數相同。即如果矩陣A的形狀是m×n，矩陣B的形狀是n×p，那么矩陣C的形狀就是m×p

。即

具體的地，其中的乘法操作定義為

矩陣乘積服從分配律

矩陣乘積也服從結合律

注意：矩陣乘積沒有交換律

點積（dot product）兩個相同維數的向量x

和y的點積可看作是矩陣乘積x?y

矩陣乘積的轉置

利用向量的乘積是標量，標量的轉置是自身的事實，我們可以證明（10）式：

線性方程組

線性代數中提供了矩陣逆（matrix inverse）的工具，使得我們能夠解析地求解（11）中的A

.

單位矩陣（identity matrix）：任意向量與單位矩陣相乘都不會改變。我們將保持n

維向量不變地單位矩陣記作為In，形式上In∈Rn×n

，

矩陣A的矩陣逆被記作A?1，被定義為如下形式：

（11）式方程組的求解：

方程組的解取決于能否找到一個逆矩陣A?1。接下來討論逆矩陣A?1的存在的條件。

2.4 線性相關和生成子空間

如果逆矩陣A?1

存在，那么（11）式肯定對于每一個向量b恰好存在一個解。分析方程有多少個解，我們可以看成是A

的列向量的線性組合（linear combination）。

形式上，某個集合中向量的線性組合，是指每個向量乘以對應系數之后的和，即

一組向量的生成空間(span)是原始向量線性組合后所能抵達的點的集合。

線性無關（linearly independent）： 如果一組向量中的任意一個向量都不能表示成其他向量的線性組合，那么這組向量被稱之為線性無關。

要想使矩陣可逆，首先必須矩陣是一個方陣（square），即m=n

，其次，所有的列向量都是線性無關的。

一個列向量線性相關的方陣被稱為奇異的（singular）。

2.5 范數

有時候我們需要衡量一個向量的大小，在機器學習中，我們使用稱為范數（norm）的函數來衡量矩陣大小，形式上，Lp

范數如下：

其中p∈R,p≥1。

范數是將向量映射到非負值的函數。直觀上來說，向量x

的范數就是衡量從原點到x

的舉例。更嚴格來說，范數滿足下列性質的函數：

• f(x)=0?x=0