【連載5】如何用spss做加權最小二乘回歸及嶺回歸

上一節我們講到一般多元線性回歸的操作方法。本節要介紹的是多元線性回歸的其他幾種情況。包括適用于含有加權變量的加權最小二乘回歸方程等。然后繼續討論上一節中沒有討論完畢的如何解決多重共線性這個問題。

講加權最小二乘回歸之前，我們首先還是舉個例子。假設我們想考察全國三十一個省的某種疾病的發病率和每個省的面積，平均氣溫等的關系，那么我們知道，這三十一個省的人口肯定是不同的。而且差距還蠻大。并且最重要的，我們知道，發病率的高低很可能和人口的多少有關系（考慮傳染性，人口密度什么的），那么這個時候我們直接用最小二乘回歸就不是那么合適了，我們更好的選擇是加權最小二乘回歸法。也就是說，當樣本和某一個權數存在某種關系的時候，我們就用加權最小二乘回歸。

在上一節中我們提到過在線性回歸主面板最下邊有一個WLS權重框框。在加權最小二乘回歸方法里邊，我們就要用到這個框框了。我們在設置變量的時候除了自變量和因變量，還要設置一個權數變量（在上述的醫學例子里，這個變量可以是每個省的人口。在其他一些金融案例里邊，比方研究高價股票和低價股票的波動時，由于這兩種股票在其他因素相同時的波動幅度不同，因此需要設一個權數，這個權數可能就是自己設定的了。）然后我們把這個權數變量選入到WLS權重框里邊。其他過程和一般線性回歸一致。

解釋結果的時候也和一般線性回歸類似，只是有一個小小的地方需要大家注意一下。我們知道，模型匯總表里邊的決定系數是一個比較重要的參考數據。它會告訴你你的方程能解釋你的模型的百分之多少，從而從側面考察了你的方程的合理性。但是不幸的是，這個決定系數在加權線性回歸里邊出現了比較嚴重的偏差。這個和決定系數的計算方法有關系。因此假如我們用同樣的數據做一遍加權的回歸，和一遍不加權的回歸，往往會發現不加權的方程決定系數大于加權的。但是這個并不能代表不加權的方程就一定比加權后的準確。實際上加權以后的模型和不加權的模型到底孰優孰劣，好的那個方程又能好多少，這些問題spss都不能給出直接的數據。因此在使用加權最小二乘回歸的時候應當格外謹慎。

此外，由于有時候權重并不特別明確，（比如上邊那個金融的案例），這時候可以使用分析——回歸——權重估計這個選項。這個選項的主面板和回歸分析主面板類似，自變量，因變量，權重。變量選擇的方法和上邊的加權回歸也類似。這個方法也需要你事先給出一個大概的權重變量，然后系統會做一定的調整來使方程達到最佳效果。結果解釋等也類似，就不贅述了。

除了加權回歸以外，還有一個比較特別的線性回歸是曲線參數估計。

如果你的線性模型擬合的不是那么理想，那么你的模型很可能就是曲線型的（尤其是你有兩個變量的時候，線性模型有時候會非常糟糕）。需要打開分析——回歸——曲線估計，選擇你的因變量，自變量。此外下邊還有十一種模型供你選擇。選好以后，結果會給出每種模型的決定系數，F值，P值，你可以從這些數據中判斷哪個方程最適合你的模型。

當然，這個不會給出你非常詳細的數據。如果你還想要看更詳細的數據，比如方程中每個參數的P值什么的，你最好還是用線性回歸做一下。啊，當然，當然，你的數據肯定是沒辦法直接做線性回歸的，不然也就不用做曲線估計了。你需要首先轉換你的數據。舉個例子：Y=X1^2*a1+X2^2*a2……，假設你的模型做出來符合這種形式。那你首先要在數據——計算新變量里邊，計算出新變量x1的方，x2的方，然后在做這兩個新變量和因變量的一般線性回歸。當然，如果你想要在方程的自變量里在加一個x1和x2的積，你也可以這么加上去。

那么除了logistic回歸以外，線性回歸的內容基本就完畢了。下邊我們繼續討論一個問題：如何消除自變量間的共線性？

上一節里邊提到，如果VIF（方差因子膨脹率）合格，而DW不合格的話，我們可以使用廣義差分法來改善DW，得到好的模型。那這一節，我們就來討論一下VIF不合格的情況。我們已經知道，如果VIF不合格的話，說明自變量存在嚴重的共線性。在回歸的范疇里邊，通常有三種方法可以解決這個問題。他們分別是偏最小平方回歸，嶺回歸，路徑分析。

偏最小平方回歸對于初學者來講，是一個并不常用的回歸方法。如果想用這個分析的話，需要額外下載相關模塊。下好相關模塊以后，打開分析——回歸——部分最小回歸，（如果沒有下載相關模塊的話，他會提示你下載），打開主面板，這是一個相當簡單的面板，選好自變量，因變量之后，點確定就可以。結果會呈現四個表，也并不難判斷。就不贅述了。

嶺回歸可以下載相關模塊，也可以自己編程來實現。大部分人都會選擇后一種方法。這個主要是因為代碼很簡潔，很容易編寫。代碼如下：

INCLUDE’d:\spss20.0\Ridge Regression.sps’.

Ridgereg enter=X1 X2 X3

/dep=y

諾，就這么三行。第一行單引號里邊填寫你的spss安裝目錄。比如我的按在d盤下面，所以我就填d:\spss20.0，如果你的按在c盤，那就填C盤唄。然后目錄后邊那個ridge regression，是最小二乘平方的宏的調用。然后第二行X1，X2，X3的位置填寫你的自變量的名字。有幾個就填幾個。中間用空格隔開。第三行y的位置填你的因變量。運行的時候，打開文件——新建——語法，進入語法編輯器窗口，輸入上邊的代碼，然后點運行——全部就可以了。結果會有一個系數表，這個表的第一列是K值，第二列是決定系數，第三列往后是你的自變量。其中k值會從0開始增大，同時決定系數也會慢慢變小，最終趨于穩定。（嶺回歸舍棄了一定的信息，從而改善了多重共線性）要從這張表里邊選取合適的k值，使決定系數盡量大，同時盡量穩定。選好k值就可以參照系數寫出方程了。此外在嶺回歸里邊是不會輸出常數的。這也是和一般回歸方法的一個不同之處。

嶺回歸和偏最小平方回歸比較而言，嶺回歸的優勢在于容易操作。偏最小平方回歸的優勢在于可以用于例數很少的情況。如果例數很少，自變量又很多，甚至例數都少于自變量的數目，那么就一定要用偏最小平方回歸了。額，通常在金融領域不會發生這種情況，但是在一些特殊的領域，醫學啊什么的，則是有可能發生的。因此在某種程度上來講，偏最小平方回歸是給特殊需要的人使用的。

最后補充介紹一下路徑分析。如果說前邊兩種方法都是從過程中實現的話，那么路徑分析就是從專業角度來刻畫方程了。舉個例子，比如你想看看一朵鮮花的開放時間和陽光強度，空氣濕度，空氣溫度，日照時間等等的關系，做出分析來一看，存在共線性。如果你是專業人員，那么很可能你就知道，由于空氣溫度受到陽光強度，和日照時間的影響，所以你的方程就存在了共線性。所以呢，你就能寫出一個空氣溫度，陽光強度，日照時間之間的一個回歸方程。然后你就能畫出一個路徑圖，代表陽光強度的圈圈不僅直接影響了花朵開放時間，而且還影響了空氣溫度，從而間接影響了花朵開放時間，并且你還能寫出彼此之間的影響系數。這就是路徑分析的主要內容。

當然路徑分析需要有專業知識的人來做。并且呢，通常需要經過許多嘗試，才能正確的寫出因變量和自變量之間的方程。而且，最重要的是，路徑分析只能幫助我們搞清楚自變量之間到底存在怎么樣的共線性，對于矯正方程沒有什么作用。也就是說，方程的決定系數可能依然很糟糕。所以它更多的是用來做演示圖或者什么的，對于改善多重共線性真的沒什么用。

解決多重共線性的常見方法可以告一段落了。在非線性回歸，分類回歸之后我們介紹因子分析時將會舊話重提，再次討論多重共線性的問題。CDA數據分析師培訓