主成分分析和因子分析十大不同點

主成分分析和因子分析無論從算法上還是應用上都有著比較相似之處，本文結合以往資料以及自己的理解總結了以下十大不同之處，適合初學者學習之用。

1.原理不同

主成分分析基本原理：利用降維（線性變換)的思想，在損失很少信息的前提下把多個指標轉化為幾個不相關的綜合指標（主成分),即每個主成分都是原始變量的線性組合,且各個主成分之間互不相關,使得主成分比原始變量具有某些更優越的性能（主成分必須保留原始變量90%以上的信息），從而達到簡化系統結構，抓住問題實質的目的。

因子分析基本原理：利用降維的思想，由研究原始變量相關矩陣內部的依賴關系出發，把一些具有錯綜復雜關系的變量表示成少數的公共因子和僅對某一個變量有作用的特殊因子線性組合而成。就是要從數據中提取對變量起解釋作用的少數公共因子（因子分析是主成分的推廣，相對于主成分分析，更傾向于描述原始變量之間的相關關系）

2.線性表示方向不同

因子分析是把變量表示成各公因子的線性組合；而主成分分析中則是把主成分表示成各變量的線性組合。

3.假設條件不同

主成分分析：不需要有假設(assumptions),

因子分析：需要一些假設。因子分析的假設包括：各個共同因子之間不相關，特殊因子（specific factor）之間也不相關，共同因子和特殊因子之間也不相關。

4.求解方法不同

求解主成分的方法：從協方差陣出發（協方差陣已知），從相關陣出發（相關陣R已知），采用的方法只有主成分法。

（實際研究中，總體協方差陣與相關陣是未知的，必須通過樣本數據來估計）

注意事項：由協方差陣出發與由相關陣出發求解主成分所得結果不一致時，要恰當的選取某一種方法；一般當變量單位相同或者變量在同一數量等級的情況下，可以直接采用協方差陣進行計算；對于度量單位不同的指標或是取值范圍彼此差異非常大的指標，應考慮將數據標準化，再由協方差陣求主成分；實際應用中應該盡可能的避免標準化，因為在標準化的過程中會抹殺一部分原本刻畫變量之間離散程度差異的信息。此外，最理想的情況是主成分分析前的變量之間相關性高，且變量之間不存在多重共線性問題(會出現最小特征根接近0的情況)；

求解因子載荷的方法：主成分法，主軸因子法，極大似然法，最小二乘法，a因子提取法。

5.主成分和因子的變化不同

主成分分析：當給定的協方差矩陣或者相關矩陣的特征值唯一時，主成分一般是固定的獨特的；

因子分析：因子不是固定的，可以旋轉得到不同的因子。

6.因子數量與主成分的數量

主成分分析：主成分的數量是一定的，一般有幾個變量就有幾個主成分（只是主成分所解釋的信息量不等），實際應用時會根據碎石圖提取前幾個主要的主成分。

因子分析：因子個數需要分析者指定（SPSS和sas根據一定的條件自動設定，只要是特征值大于1的因子主可進入分析），指定的因子數量不同而結果也不同；

7.解釋重點不同：

主成分分析：重點在于解釋個變量的總方差，

因子分析：則把重點放在解釋各變量之間的協方差。

8.算法上的不同：
主成分分析：協方差矩陣的對角元素是變量的方差；

因子分析：所采用的協方差矩陣的對角元素不在是變量的方差，而是和變量對應的共同度（變量方差中被各因子所解釋的部分）

9.優點不同：

因子分析：對于因子分析，可以使用旋轉技術，使得因子更好的得到解釋，因此在解釋主成分方面因子分析更占優勢；其次因子分析不是對原有變量的取舍，而是根據原始變量的信息進行重新組合，找出影響變量的共同因子，化簡數據；

主成分分析：

第一：如果僅僅想把現有的變量變成少數幾個新的變量（新的變量幾乎帶有原來所有變量的信息）來進入后續的分析，則可以使用主成分分析，不過一般情況下也可以使用因子分析；

第二：通過計算綜合主成分函數得分，對客觀經濟現象進行科學評價；

第三：它在應用上側重于信息貢獻影響力綜合評價。

第四：應用范圍廣，主成分分析不要求數據來自正態分布總體，其技術來源是矩陣運算的技術以及矩陣對角化和矩陣的譜分解技術，因而凡是涉及多維度問題，都可以應用主成分降維；

10.應用場景不同：

主成分分析：

可以用于系統運營狀態做出評估，一般是將多個指標綜合成一個變量，即將多維問題降維至一維，這樣才能方便排序評估；

此外還可以應用于經濟效益、經濟發展水平、經濟發展競爭力、生活水平、生活質量的評價研究上；

主成分還可以用于和回歸分析相結合，進行主成分回歸分析，甚至可以利用主成分分析進行挑選變量，選擇少數變量再進行進一步的研究。

一般情況下主成分用于探索性分析，很少單獨使用，用主成分來分析數據，可以讓我們對數據有一個大致的了解。

幾個常用組合：

主成分分析+判別分析，適用于變量多而記錄數不多的情況；

主成分分析+多元回歸分析，主成分分析可以幫助判斷是否存在共線性，并用于處理共線性問題；

主成分分析+聚類分析，不過這種組合因子分析可以更好的發揮優勢。

因子分析：

首先，因子分析+多元回歸分析，可以利用因子分析解決共線性問題；

其次，可以利用因子分析，尋找變量之間的潛在結構；

再次，因子分析+聚類分析，可以通過因子分析尋找聚類變量，從而簡化聚類變量；

此外，因子分析還可以用于內在結構證實