作者：丁點helper 

來源：丁點幫你

上一篇文章介紹了一般線性回歸的典型操作，并且留了一個思考題。感謝小伙伴的參與，大家很厲害，沒有被迷惑到，線性回歸獲得的系數代表的是相關關系，而非因果關聯。

回歸是相關不是因果

多重線性回歸，一般是指有多個自變量X，只有一個因變量Y。前面我們主要是以簡單線性回歸為例在介紹，兩者的差距主要在于自變量X的數量，在只有一個X時，就稱簡單線性回歸。

因為，回歸的使用僅能說明數據之前存在關聯，但這種關聯是否真正代表了兩者的內在聯系還需要更深入的研究。

之所以采用回歸分析，就是通過納入多個自變量，達到控制混雜因素的作用，但是我們無法納入所有可能的因素，即所謂的“遺漏變量”（omitted variables），從而導致回歸的結果不準確。

例如，探究教育程度與收入的關系，如果我們在回歸分析中沒有納入“父母的平均教育程度”這個變量，此時，這個變量就被稱為“遺漏變量”。

根據常識，父母的教育程度應該是孩子未來收入的重要影響因素，同時也幾乎決定了孩子的教育程度。因此，遺漏這個變量有可能讓我們得出有偏差的結果（一般會高估個人教育程度對未來收入的影響）。

同時，如果X與Y之間的關系，不是X導致Y，而是Y導致X（稱作“反向因果”），此時的回歸分析也會得出有統計學意義的結果（總體回歸系數不為0）。

但這個結果無法顯示相關關系的方向，即無法判斷是X→Y，還是Y→X，從而誤導我們的判斷。

例如，常有人說，一個國家保護私人產權制度越完善，這個國家就越富裕。

這意味著完備的產權促進了國家經濟的發展，于是人們建議：貧窮的國家都要實施良好的私有產權保護。

不可否認，產權對提升經濟發展的確有作用。但我們不能忽略這其中的反向因果。

也就是說，很有可能是一個國家富裕之后才開始注意產權保護，產權制度才會更加完善，由此，并非是產權促進了經濟的發展，而是經濟發展促進了產權的完善。

所以，我們不能只從兩組數據的相關就推測因果，除了那些沒有納入考慮的變量，反向因果也有可能對我們進行誤導。

由此來看，回歸分析更像是一種探索，它提供某種線索，啟示我們下一步的研究方向。

回歸診斷——殘差圖

多重線性回歸，一般是指有多個自變量X，只有一個因變量Y。前面我們主要是以簡單線性回歸為例在介紹，兩者的差距主要在于自變量X的數量，在只有一個X時，就稱簡單線性回歸。

回歸分析有時候之所以不能揭示因果，除了上面談到的遺漏變量效應和反向因果外，某些假設條件的違反也會導致回歸的結果不準。

所以，我們要牢記做完回歸并不意味著萬事大吉，進行必要的診斷性分析十分必要。

回歸診斷，就是通過各種方法來驗證回歸分析的假設條件以及其他因素的影響，這里我們重點講講回歸LINE條件的診斷和多重共線性的識別。

前文我們提到過做線性回歸的時候一般需滿足：線性、獨立、正態、方差齊（LINE）條件。

對這些假設條件的診斷其實有各種各樣的辦法，其中一種使用十分廣泛，簡單易學，同時效率也比較高的做法是作殘差圖。

畫殘差圖，一般是以回歸分析Y的預測值為橫軸，以殘差為縱軸做散點圖。

如果打開SPSS，可以看到回歸分析模塊中有很多種殘差：未標準化、標準化、學生化等等。

簡單起見，大家可以選擇所謂的“學生化”殘差。

不知有同學是否了解過，什么叫“學生化殘差”？（不能再古怪了?。?

實際上，它和我們前面學習的t檢驗還有聯系。

t檢驗發明者的筆名就叫“學生”，即student，所以這里的“學生化殘差”可以簡單理解為一種t變換（與標準化，即z變換類似）。

具體的細節感興趣的同學可以去查一查。在我們的具體應用中，采用“學生化殘差”和“預測值”做散點圖還是挺簡單的，而且可以發現一些問題。

一條原則：如果線性回歸效果較好，則殘差圖的各個散點會圍繞著“殘差=0”水平線上下均勻分布，如下圖中的紅線。

這可能是最簡單的診斷方法，通過觀察散點在上述紅線上下的分布情況來推測回歸分析的質量，同時提示需要改進的方向。

例如，下面這張散點圖，就提示Y與自變量X之間可能存在某種曲線關系。

當增加某個自變量的二次項后，回歸被改善。

沒有添加任何二次項

增加x1的二次項，擬合效果提示

除此以外，線性回歸診斷另一個常見的問題是，當自變量X之間互相存在高度相關性時，會導致回歸方程估計結果不穩定，回歸系數的標準誤大大增加（可以通過數學公式證明，標準誤計算的分母因為X之間的相關系數而變大，從而整個標準誤變?。?，稱為共線性。

共線性最大的問題是，導致本身有意義（P＜0.05）的結果變為無意義（P＞0.05）。

SPSS在線性回歸分析模塊也有專門的共線性診斷指標，我們在分析時點選即可：

根據上一篇文章中的例子，共線性診斷的的指標均在要求之內，提示共線性問題不嚴重。

最后，如果線性回歸的LINE沒有通過診斷分析，需要怎樣改進呢？如下圖，大家作為參考，這些內容后期有機會我們逐漸給大家講解。