在機器學習中，有成千上萬甚至幾十萬的維度的數據需要處理，這種情況下機器學習的資源消耗是不可接受的，并且很大程度上影響著算法的復雜度，因此對數據降維是必要的。PCA(Principal Component Analysis)是一種常用的數據分析方法，也是最基礎的無監督降維算法。通常用于高維數據集的探索與可視化，還可以用于數據壓縮，數據預處理等。PCA通過線性變換將原始數據變換為一組各維度線性無關表示，可用于提取數據的主要特征分量及高維數據的降維,而轉換后的這組變量便是我們所說的主成分。

均值和零均值化

均值

在PCA降維過程中，我們所求的均值是每個維度的均值。

零均值化

然后將每個維度的數據進行零均值化，所謂零均值化就是讓均值為0.即每個數據都減去均值。

進行去均值的原因是如果不去均值的話會容易擬合。在神經網絡中，如果特征值x比較大的時候，會導致W*x+b的結果也會很大，這樣進行激活函數(如relu)輸出時，會導致對應位置數值變化量相對來說太小，進行反向傳播時因為要使用這里的梯度進行計算，所以會導致梯度消散問題，導致參數改變量很小，也就會易于擬合，效果不好。

特征向量和特征值

定義

若A為n階矩陣，若數λ和n維非0列向量X滿足AX=λX，那么數λ稱為A的特征值，X稱為A的對應于特征值λ的特征向量

在PCA降維過程中，本質就是把原有數據投影到新的一個空間，我們也就可以看做是在原有數據基礎上求解特征向量和特征值

性質

特征值和特征向量具有以下性質：

1.同一個矩陣的不同特征值對應的特征向量是線性無關的

2.對于同一個特征值對應的特征向量的非零線性組合仍是該特征值對應的特征向量

3.矩陣的特征向量總是相對于矩陣的特征值而言，一個特征值具有特征向量不唯一，一個特征向量不能對應不同特征值

從特征向量和特征值的性質我們就可以發現正好符合PCA降維過程中取方差較大和線性不相關的前k維數據作為降維后數據的目的

方差

方差是是用來表示數據的離散程度的，方差越大，離散程度越大，也就是數據波動就越大。

方差的計算：前面已經說了，需要先對每個維度的數據做零均值化，那么方差就是去均值后的平方和的均值

PCA中方差的意義：PCA的本質就是找一些投影方向，使得數據在這些投影方向上的方差最大，而且這些投影方向是相互正交的(即：相關性幾乎為0)。這其實就是找新的正交基的過程，計算原始數據在這些正交基上投影的方差，方差越大，就說明在對應正交基上包含了更多的信息量，對數據特征影響更大，我們暫且把這些信息量可以記為特征值。原始數據協方差矩陣的特征值越大，對應的方差越大，在對應的特征向量上投影的信息量就越大。反之，如果特征值較小，則說明數據在這些特征向量上投影的信息量很小，可以將小特征值對應方向的數據刪除，從而達到了降維的目的。

協方差

協方差可以計算不同變量之間的相關性：

如果cov(x,y)=-1.變量之間完全負相關

如果cov(x,y)=1.變量之間完全正相關

如果cov(x,y)=0.變量之間完全不相關

而當x和y相等時，協方差的值就等于方差，所以也可以看作方差是協方差的一種特殊情況

在PCA的過程中我們是對原始數據做過零均值化處理的，故，協方差可以變為：

那么每個維度之間的相關性計算方式為：

協方差矩陣

協方差只能表示兩個維度變量之間的相互關系，如果有多個維度隨機變量，就需要使用協方差矩陣，我們假設現在又三個維度隨機變量x,y,z,那么對應的協方差矩陣則為：

矩陣對角化定義

對角矩陣(diagonal matrix)是一個主對角線之外的元素皆為0的矩陣。對角線上的元素可以為0或其他值

如果存在一個可逆矩陣 P 使得 P-1AP 是對角矩陣，則矩陣A就被稱為可對角化矩陣

如果一個矩陣與一個對角矩陣相似，我們就稱這個矩陣可經相似變換對角化，簡稱可對角化;與之對應的線性變換就稱為可對角化的線性變換

協方差矩陣對角化

上文我們已經說明了協方差矩陣是一個實對稱矩陣，由實對稱矩陣和相似矩陣性質我們可以得出協方差矩陣C具有的性質：

和C相似的對角矩陣，其對角元素為各特征向量對應的特征值(可能有重復)即：C的特征值就是相似對角矩陣的對角元素

我們假設C的相似對角矩陣為A，那么如果存在一個矩陣P使得P-1CP=A，根據對角矩陣的特點，我們就可以發現矩陣P的每一行就是我們所要找的協方差矩陣的特征向量，而特征值就是對角矩陣的對角元素，現在我們離整個PCA過程還有一步，先把每一個特征向量變成單位向量，然后再按照特征值的大小進行排序，取前K行特征值對應的單位向量組成的矩陣和標準化后數據相乘，就得到了我們需要的降維后的數據矩陣。

至此，整個PCA降維過程涉及到的數學理論就完成了。