回歸預測及R語言實現Part2回歸R語言實現

下面是回歸分析的各種變體的簡單介紹，解釋變量和相應變量就是指自變量和因變量。

常用普通最小二乘（OLS）回歸法來擬合實現簡單線性、多項式和多元線性等回歸模型。最小二乘法的基本原理前面已經說明了，使得預測值和觀察值之差最小。

R中實現擬合線性模型最基本的函數是lm()，應用格式為：

myfit <- lm(Y~X1+X2+…+Xk,data)

data為觀測數據，應該為一個data.frame，前面是擬合表達式，Y是因變量，X1-Xk是自變量，+用來分隔不同的自變量的，還有可能用到的其他符號的說明如下：

另外，對lm()方法的返回結果，還有一系列的分析方法，如下：

簡單線性回歸

基礎安裝數據women中提供了15個年齡在30-39歲之前的女性的身高和體重信息，這里用身高來預測體重，來嘗試lm()方法

由summary(fit)的結果coefficients可看出，預測模型為：weight=-81.52+3.45*height。

因為身高不可能為0，你沒必要給截距項一個物理解釋，它僅僅是一個常量調整項。在Pr(>|t|)欄，可以看到回歸系數（3.45）顯著（p<0.001），表明身高每增高1英寸，體重將預期增加3.45磅?？蓻Q系數-R平方項（0.991）表明模型可以解釋體重99.1%的方差，它也是實際和預測值之間的相關系數的平方值。殘差標準誤差（1.53 lbs）則可認為是模型用身高預測體重的平均誤差。F統計量檢驗所有的預測變量預測響應變量是否都在某個幾率水平之上。由于簡單回歸只有一個預測變量，此處F檢驗等同于身高回歸系數的t檢驗。

多項式回歸

從上面例子最后的圖可以看出，我們可以為回歸模型增加一個X平方項來增加預測精確度。

由summary(fit2)的結果coefficients可看出，預測模型為：weight=261.88-7.35*height+0.083* height* height。在p<0.001水平下，回歸系數都非常顯著。模型的方差解釋率已經增加到了99.9%。二次項的顯著性（t = 13.89，p<0.001）表明包含二次項提高了模型的擬合度。從圖中也能看出來，預測值和觀測值的擬合程度更好了。

介紹下car包中的scatterplot()函數，它可以很容易、方便地繪制二元關系圖。

    如上，是scatterplot()對women數據所繪的身高與體重的散點圖。直線為線性擬合，虛線為曲線平滑擬合，邊界為箱線圖。

多元線性回歸

這里以基礎包中的state.x77數據集為例，探究一個州的犯罪率和其他因素的關系，包括人口、文盲率、平均收入和結霜天數（溫度在冰點以下的平均天數）。

cor()函數顯示兩個變量之間的相關系數，從圖中可以看到，謀殺率是雙峰的曲線，每個預測變量都一定程度上出現了偏斜。謀殺率隨著人口和文盲率的增加而增加，隨著收入水平和結霜天數增加而下降。同時，越冷的州文盲率越低，收入水平越高。

下面對states數據做多項線性擬合，看人口、文盲率、收入水平、結霜天數對謀殺率的影響水平。

     從結果可以看出，文盲率和人口的系數是顯著的，結霜率和收入水平系數不顯著，這兩者對謀殺率的影響不是線性的。

上面的例子是自變量之間相互獨立的，下面看一個有交互項的多元線性回歸的案例。同樣是R中的基礎安裝數據mtcars，

從summary(fit)的Pr(>|t|)欄中能看出，hp:wt項是顯著的，說明汽車的馬力和車重不是相互獨立的，兩者對每英里的耗油量的影響也都是顯著的。

汽車每英里耗油量mpg的模型為mpg =49.81 + 0.12×hp + 8.22×wt + 0.03×hp×wt。

effects包可以用來分析不同wt下，mpg與hp之間的線性關系。如下，圖中能看出，當wt分別為2.2,3.2,4.2時mpg與hp之間的線性關系，差異還是很明顯的。

回歸診斷

summary()方法能獲取模型的參數和相關統計量，要進一步診斷模型是否合適，還需要另外的工作。

R中有許多檢驗回歸分析中統計假設的方法。plot()方法可以生成評價模型擬合情況的四幅圖形。用women數據集的回歸模型為例：

OLS回歸的統計假設。（擔心我自己的理解有偏誤，所以這里的解讀全部摘抄自R語言實戰?。?

正態性當預測變量值固定時，因變量成正態分布，則殘差值也應該是一個均值為0的正態分布。正態Q-Q圖（Normal Q-Q，右上）是在正態分布對應的值下，標準化殘差的概率圖。若滿足正態假設，那么圖上的點應該落在呈45度角的直線上；若不是如此，那么就違反了正態性的假設。

獨立性你無法從這些圖中分辨出因變量值是否相互獨立，只能從收集的數據中來驗證。上面的例子中，沒有任何先驗的理由去相信一位女性的體重會影響另外一位女性的體重。假若你發現數據是從一個家庭抽樣得來的，那么可能必須要調整模型獨立性的假設。

線性若因變量與自變量線性相關，那么殘差值與預測（擬合）值就沒有任何系統關聯。換句話說，除了白噪聲，模型應該包含數據中所有的系統方差。在“殘差圖與擬合圖”（Residuals vs Fitted，左上）中可以清楚的看到一個曲線關系，這暗示著你可能需要對回歸模型加上一個二次項。

同方差性若滿足不變方差假設，那么在位置尺度圖（Scale-Location Graph，左下）中，水平線周圍的點應該隨機分布。該圖似乎滿足此假設。

最后一幅“殘差與杠桿圖”（Residualsvs Leverage，右下）提供了你可能需要關注的單個觀測點的信息。從圖形可以鑒別出離群點、高杠桿值點和強影響點。

一個觀測點是離群點，表明擬合回歸模型對其預測效果不佳（產生了巨大的或正或負的殘差）。

一個觀測點有很高的杠桿值，表明它是一個異常的預測變量值的組合。也就是說，在預測變量空間中，它是一個離群點。因變量值不參與計算一個觀測點的杠桿值。

一個觀測點是強影響點（influentialobservation），表明它對模型參數的估計產生的影響過大，非常不成比例。強影響點可以通過Cook距離即Cook’s D統計量來鑒別。

再來看二次擬合的診斷圖。

    圖中有兩個比較明顯的離群點，12和15，可以刪除這兩個點后再做回歸，效果會更好。

    另外car包中提供了許多方法可以增強擬合和評價回歸模型的能力，如下圖，不再細說：