多重共線性問題的幾種解決方法

在多元線性回歸模型經典假設中，其重要假定之一是回歸模型的解釋變量之間不存在線性關系，也就是說，解釋變量X1，X2，……，Xk中的任何一個都不能是其他解釋變量的線性組合。如果違背這一假定，即線性回歸模型中某一個解釋變量與其他解釋變量間存在線性關系，就稱線性回歸模型中存在多重共線性。多重共線性違背了解釋變量間不相關的古典假設，將給普通最小二乘法帶來嚴重后果。

這里，我們總結了8個處理多重共線性問題的可用方法，大家在遇到多重共線性問題時可作參考：

1、保留重要解釋變量，去掉次要或可替代解釋變量

2、用相對數變量替代絕對數變量

3、差分法

4、逐步回歸分析

5、主成份分析

6、偏最小二乘回歸

7、嶺回歸

8、增加樣本容量

這次我們主要研究逐步回歸分析方法是如何處理多重共線性問題的。

逐步回歸分析方法的基本思想是通過相關系數r 、擬合優度R2 和標準誤差三個方面綜合判斷一系列回歸方程的優劣，從而得到最優回歸方程。具體方法分為兩步：

第一步，先將被解釋變量y對每個解釋變量作簡單回歸:

對每一個回歸方程進行統計檢驗分析（相關系數r 、擬合優度R2 和標準誤差），并結合經濟理論分析選出最優回歸方程，也稱為基本回歸方程。

第二步，將其他解釋變量逐一引入到基本回歸方程中，建立一系列回歸方程，根據每個新加的解釋變量的標準差和復相關系數來考察其對每個回歸系數的影響，一般根據如下標準進行分類判別：

１.如果新引進的解釋變量使R2 得到提高,而其他參數回歸系數在統計上和經濟理論上仍然合理，則認為這個新引入的變量對回歸模型是有利的，可以作為解釋變量予以保留。

２.如果新引進的解釋變量對R2 改進不明顯，對其他回歸系數也沒有多大影響，則不必保留在回歸模型中。

３.如果新引進的解釋變量不僅改變了R2 ，而且對其他回歸系數的數值或符號具有明顯影響，則認為該解釋變量為不利變量，引進后會使回歸模型出現多重共線性問題。不利變量未必是多余的，如果它可能對被解釋變量是不可缺少的，則不能簡單舍棄，而是應研究改善模型的形式，尋找更符合實際的模型，重新進行估計。如果通過檢驗證明回歸模型存在明顯線性相關的兩個解釋變量中的其中一個可以被另一個很好地解釋，則可略去其中對被解釋變量影響較小的那個變量，模型中保留影響較大的那個變量。

下邊我們通過實例來說明逐步回歸分析方法在解決多重共線性問題上的具體應用過程。

具體實例

例1 設某地10年間有關服裝消費、可支配收入、流動資產、服裝類物價指數、總物價指數的調查數據如表1，請建立需求函數模型。

表1  服裝消費及相關變量調查數據

（１）設對服裝的需求函數為

用最小二乘法估計得估計模型：

模型的檢驗量得分，R2=0.998，D·W=3.383，F=626.4634

R2接近1，說明該回歸模型與原始數據擬合得很好。由得出拒絕零假設，認為服裝支出與解釋變量間存在顯著關系。

（２）求各解釋變量的基本相關系數

上述基本相關系數表明解釋變量間高度相關，也就是存在較嚴重的多重共線性。

（３）為檢驗多重共線性的影響，作如下簡單回歸：

各方程下邊括號內的數字分別表示的是對應解釋變量系數的t檢驗值。

觀察以上四個方程，根據經濟理論和統計檢驗（t檢驗值=41.937最大，擬合優度也最高），收入Ｙ是最重要的解釋變量，從而得出最優簡單回歸方程。

（４）將其余變量逐個引入，計算結果如下表2：

表2　服裝消費模型的估計

結果分析：

①在最優簡單回歸方程中引入變量Pc，使R2由0.9955提高到0.9957；根據經濟理論分析，正號，負號是合理的。然而t檢驗不顯著（），而從經濟理論分析，Pc應該是重要因素。雖然Y與Pc高度相關，但并不影響收入Y回歸系數的顯著性和穩定性。依照第1條判別標準，Pc可能是“有利變量”，暫時給予保留。

②模型中引入變量L ，R2 由0.9957提高到0.9959， 值略有提高。一方面，雖然Y 與L ，Pc與L 均高度相關，但是L 的引入對回歸系數、的影響不大（其中的值由0.1257變為0.1387，值由-0.0361變為-0.0345，變化很?。?；另一方面，根據經濟理論的分析，L與服裝支出C之間應該是正相關關系，即的符號應該為正號而非負號，依照第2條判別標準，解釋變量L不必保留在模型中。

③舍去變量L ，加入變量P0 ，使R2 由0.9957提高到0.9980，R2 值改進較大。、、均顯著（這三個回歸系數的t檢驗值絕對值均大于），從經濟意義上看也是合理的（服裝支出C與Y,P0之間呈正相關，而與服裝價格Pc之間呈負相關關系）。根據判別標準第1條，可以認為Pc、P0皆為“有利變量”，給予保留。

④最后再引入變量L ，此時R2 ＝0.9980沒有增加（或幾乎沒有增加），新引入變量對其他三個解釋變量的參數系數也沒有產生多大影響，可以確定L 是多余變量，根據判別標準第2條，解釋變量L 不必保留在模型中。

因此我們得到如下結論：回歸模型為最優模型。

通過以上案例的分析，我們從理論和實際問題兩方面具體了解了逐步回歸分析是如何對多重共線性問題進行處理的。事實上，一般統計軟件如SPSS，在回歸模型的窗口中都會提供變量逐步進入的選項，勾選后實際上就是選擇了運用逐步回歸的思想來構建回歸模型。運用SPSS軟件不需要我們懂得其背后的運行規律，然而作為分析師，了解并理解模型背后的理論知識，將更有助于我們理解模型、解釋結論背后的內在含義，從而達到更好地分析問題的目的。