SPSS分析技術：多重線性回歸模型；極端值與多重共線性的識別與處理

如果擬合質量不好，可能存在的問題主要有以下兩個方面：

極端值（強點）的影響。我們都知道，在線性回歸分析中，自變量回歸系數的確定主要采用最小二乘法，而最小二乘法的原理就是兼顧每個數據點的影響，使得最后的離差平方和最小。最小二乘法就好比生活中的老好人，誰都不得罪，與某些小團體內的人人或者特別有個性的離群者都保持相同程度的聯系，這時小團體的人很可能因為看到其與離群者的關系而刻意疏遠他。用最小二乘法擬合得到的多重線性回歸模型同樣如此，會極大的受到極端值的影響而失去客觀和準確性。

自變量間的多重共線性問題。多重共線性指自變量間存在線性相關關系，也就是說自變量間可以互相建立線性回歸方程。若自變量間存在多重共線性關系，那么得到的多重線性回歸模型也是不準確和不可用的。

案例分析

本篇采用的案例依舊是上篇文章：SPSS分析技術：回歸模型的自變量篩選方法；全軍出擊OR穩扎穩打步步為營的內容。下面我們還是以上篇文章的數據來判斷和解決極端值和多重共線性問題。文章的數據都已經上傳到QQ群中，大家可以前往QQ群的群文件中下載，跟隨學習。案例的研究背景是固體垃圾的產生量與城市不同用途土地面積之間的多重線性回歸模型的建立。

極端值檢查過程和結果

極端值可以用兩種指標來檢查：殘差和極端值統計量。SPSS軟件利用殘差進行極端值檢查需要在【分析】-【回歸】-【線性】-【統計】中選擇下圖殘差區域的個案診斷，系統默認的離群值為3個標準差（注意，這里將殘差進行標準化處理）。

除此之外，還可以選擇【保存】按鈕，在影響統計中，將DfBeta、標準化DfBeta、DfFit、標準化DfFit和協方差比例選中。以上這些指標的分析邏輯都是比較刪除某個記錄前后，偏回歸系數或殘差的差異情況，以此來判斷極端值（離群值），值越大，極端值的可能性越大。為了便于比較，其中兩個標準差指標如果大于2，可以認為是極端值。

案例的分析結果

個案診斷結果，可以發現，第8個數據點的標準化殘差值達到2.105，大于2，可以認為該數據點是極端值（離群值）。結合第8個數據點的標準化DfFit值1.42，雖然小于2，但是大于1。綜合兩個結果，可以認為該數據點是極端值。

對于極端值，我們不能盲目的直接刪除了事。應該找到該值，考慮是否是錄入錯誤或者是某些特殊情況導致該值的離群，如果是以上兩種情況導致的，那么可以修改和刪除該數據點。如果以上兩種情況都不符合，那么需要考慮是否采用加權最小二乘法進行多重線性回歸，或者增加樣本量，看是否是樣本量過小導致該值類似的情況出現較少，使得該值成為極端值。

多重共線性的檢查與處理

自變量的多重共線性會導致得到的多重回歸模型存在錯誤，不能顯示自變量與因變量之間真實的相互關系情況。如果自變量間存在多重共線性關系，那么在用SPSS進行多重線性回歸分析時，可能會出現以下這些違反邏輯的情況：

整個回歸模型的假設檢驗是通過的，但是個別自變量的檢驗卻無法通過。

專業上認為應該有統計學意義的自變量檢驗結果卻是沒有統計學意義。

有些自變量的回歸系數大小或符號與實際情況相違背，難以解釋。

增加或刪除一個自變量，有些自變量的回歸系數出現大的變動。

如果多重回歸模型出現以上情況，那么就應該考慮自變量存在多重共線性問題。SPSS對于多重共線性的判斷指標有以下幾種：容忍度（Tolerance）、方差膨脹因子（VIF，Variance Inflation Factor）、特征根（Eigenvalue）、條件指數（Condition Index）和變異構成（Variance Proportion）。

容忍度（Tolerance）等于1減去以該自變量為因變量，其它自變量依舊為自變量的線性回歸模型的決定系數的剩余值（1-R方）。顯然，容忍度越小，共線性越嚴重。一般的認識是，當容忍度小于0.1時，存在嚴重的多重共線性。

方差膨脹系數（VIF）等于容忍度的倒數。一般情況下，VIF的值不應該大于5，放寬到容忍度的水平，就是不應該大于10。

特征根（Eigenvalue）對模型中常數項及所有自變量計算主成分，如果自變量間存在較強的線性相關關系，則前面的幾個主成分數值較大，而后面的幾個主成分較小，甚至接近于0。

條件指數（Condition Index）等于最大的主成分與當前主成分的比值的算數平方根。第一個主成分被定義為1。如果有幾個條件指數較大，那么就提示存在多重共線性關系。

變異構成（Variance Proportion）是指回歸模型中常數項和自變量項被主成分解釋的比例。如果某個主成分對兩個或多個自變量的解釋的比例都較大，說明這幾個自變量間存在一定的共線性。

在SPSS中選中【統計】按鈕中的共線性診斷，就會輸出上面的結果。

我們依舊使用上面的例題為例，介紹各種共線性診斷指標的作用。我們首先看容忍度和方差膨脹系數（VIF）的結果?？梢钥吹皆谌可傻乃膫€線性回歸模型中，只有最后一個模型的賓館、餐飲用地和零售業用地這兩個自變量的容差小于0.2，VIF值大于7，說明這兩個自變量間存在共線性關系。

再結合特征根、條件指數和變異構成這三個指標。前面三個模型的特征根差距不大，第四個模型的前四個特征根與最后一個存在較大的差異，說明該模型可能存在共線性情況。再看條件指標，第四個模型的最后一個公因子的條件指標達到8.642，同樣說明了這個可能性。最后看變異構成，最后一個公因子中，賓館餐飲用地與零售業用地的公因子方差解釋比例都達到0.96，說明它們之間存在共線性。

結合以上五個因子，我們可以認為賓館餐飲用地與零售業用地這兩個自變量間存在共線性情況。需要做進一步處理。

除了以上這五個指標以外，還可以使用前面提高過的散點圖舉證和簡單線性相關系數矩陣來判斷它們之間是否存在多重共線性關系。如果發現自變量間存在多重共線性時，可以采用以下方法解決：

逐步回歸：逐步回歸能夠在一定程度上對多重共線性的自變量組合進行篩選，將對因變量變異解釋較大的自變量保留，而將解釋較小的自變量刪除。遺憾的是，對于共線性較為嚴重時，逐步回歸的變量自動篩選方法就顯得無力了。

嶺回歸：嶺回歸是一種專門用于共線性數據分析的有偏估計回歸方法，它實際上是一種改良的最下二乘法，通過放棄最小二乘法的無偏性，以損失部分信息，降低精度為代價來尋求效果稍差但是回歸系數更符合實際的回歸方程。

主成分回歸：主成分回歸能夠對存在多重多重共線性的自變量提取主成分，提取出來的主成分之間是完全互相獨立的，然后再用提取出來的主成分與其它的自變量一起進行多重線性回歸。

路徑分析：如果自變量之間的聯系規律比較清楚，比如很多實證研究中的變量情況。那么可以考慮使用路徑分析模型。