數據挖掘總結之主成分分析與因子分析

主成分分析與因子分析

1）概念：

主成分分析概念：主成分分析是把原來多個變量劃為少數幾個綜合指標的一種統計分析方法。主成分分析（PCA）是一種數據降維技巧，它能將大量相關變量轉化為一組很少的不相關變量，這些無關變量稱為主成分。
PCA的目標是用一組較少的不相關變量代替大量相關變量，同時盡可能保留初始變量的信息，這些推導所得的變量稱為主成分，它們是觀測變量的線性組合。

因子分析概念：探索性因子分析（EFA）是一系列用來發現一組變量的潛在結構的方法。通過尋找一組更小的、潛在的或隱藏的結構來解釋已觀測到的、顯式的變量間的關系。進行EFA需要大量的樣本，一般經驗認為如何估計因子的數目為N，則需要有5N到10N的樣本數目。
PCA/EFA 分析流程：

（1）數據預處理；PCA和EFA都是根據觀測變量間的相關性來推導結果。用戶可以輸入原始數據矩陣或相關系數矩陣列到principal()和fa（）函數中，若輸出初始結果，相關系數矩陣將會被自動計算，在計算前請確保數據中沒有缺失值；

（2）選擇因子分析模型。判斷是PCA（數據降維）還是EFA（發現潛在結構）更符合你的分析目標。選擇EFA方法時，還需要選擇一種估計因子模型的方法（如最大似然估計）。

（3）判斷要選擇的主成分/因子數目；

（4）選擇主成分/因子；

（5）旋轉主成分/因子；

（6）解釋結果；

（7）計算主成分或因子得分。

2）、因子分析與主成分分析的區別

①原理不同

主成分分析基本原理：利用降維（線性變換)的思想，每個主成分都是原始變量的線性組合,且各個主成分之間互不相關。

因子分析基本原理：利用降維的思想，從數據中提取對變量起解釋作用的少數公共因子（因子分析是主成分的推廣，相對于主成分分析，更傾向于描述原始變量之間的相關關系）

②側重點不同

主成分分析側重“變異量”，主成分分析是原始變量的線性組合，得出來的主成分往往從業務場景的角度難以解釋

因子分析更重視相關變量的“共變異量”，因子分析需要構造因子模型：EFA中的原始變量是公共因子的線性組合，因子是影響變量的潛在變量，目的是找到在背后起作用的少量關鍵因子，因子分析的結果往往更容易用業務知識去加以解釋

③ 因子分析的評價結果沒有主成分分析準確; 因子分析比主成分分析的計算工作量大

主成分分析:原始變量的線性組合表示新的綜合變量，即主成分；

EFA和PCA的區別在于：PCA中的主成分是原始變量的線性組合，而EFA中的原始變量是公共因子的線性組合，因子是影響變量的潛在變量，變量中不能被因子所解釋的部分稱為誤差，因子和誤差均不能直接觀察到。進行EFA需要大量的樣本，一般經驗認為如何估計因子的數目為N，則需要有5N到10N的樣本數目。