一份SPSS回歸分析與數據預處理的心得體會_數據分析師考試

關于SPSS數據預處理
拿到一份數據，或者在看到國內外某個學者的文章有想法而自己手里的數據剛好符合這個想法可以做時，在整理好數據后不要急于建模。一定要對數據做缺失值處理、異常值處理。在數據預處理的基礎上再進一步建模，否則可能得到錯誤的結果。
心得1：數據預處理怎么做。
一是 缺失值的處理。我個人有幾個看法：
數據樣本量足夠大，在刪除缺失值樣本的情況下不影響估計總體情況，可考慮刪除缺失值；
二是數據樣本量本身不大的情況下，可從以下兩點考慮：1是采用缺失值替換，SPSS中具體操作為“轉換”菜單下的“替換缺失值”功能，里面有5種替換的方法。若數據樣本量不大，同質性比較強，可考慮總體均值替換方法，如數據來自不同的總體（如我做農戶調研不同村的數據），可考慮以一個小總體的均值作為替換（如我以一個村的均值替換缺失值）。2是根據原始問卷結合客觀實際自行推斷估計一個缺失值的樣本值，或者以一個類似家庭的值補充缺失值。

心得2：數據預處理第二點異常值的處理。
我大概學了兩門統計軟件SPSS和Stata，SPSS用的時間久些，熟悉一下，Stata最近才學，不是太熟。關于這點我結合著來說。關于異常值的處理可分為兩點，一是怎么判定一個值是異常值，二是怎么去處理。
判定異常值的方法我個人認為常用的有兩點：1是描述性統計分析，看均值、標準差和最大最小值。一般情況下，若標準差遠遠大于均值，可粗略判定數據存在異常值。2是通過做指標的箱圖判定，箱圖上加“*”的個案即為異常個案。
發現了異常值，接下來說怎么處理的問題。大概有三種方法：
1是正偏態分布數據取對數處理。我做農戶微觀實證研究，很多時候得到的數據（如收入）都有很大的異常值，數據呈正偏態分布，這種我一般是取對數處理數據。若原始數據中還有0，取對數ln(0)沒意義，我就取ln(x+1)處理；
2是樣本量足夠大刪除異常值樣本；
3是從stata里學到的，對數據做結尾或者縮尾處理。這里的結尾處理其實就是同第二個方法，在樣本量足夠大的情況下刪除首尾1%-5%的樣本?？s尾指的是人為改變異常值大小。如有一組數據，均值為50，存在幾個異常值，都是500多（我這么說有點夸張，大概是這個意思），縮尾處理就是將這幾個500多的數據人為改為均值+3標準差左右數據大小，如改為100。
總結而言，我個人認為做數據變換的方式比較好，數據變換后再做圖或描述性統計看數據分布情況，再剔除個別極端異常值。
關于SPSS回歸分析
心得1：如何做好回歸分析。
經過多次實戰，以及看了N多視頻，上了N多課，看了N多專業的書。我個人總結做回歸的步奏如下：
1對數據進行預處理，替換缺失值和處理異常值；
2是將單個自變量分別與因變量做散點圖和做回歸，判定其趨勢，并做好記錄（尤其是系數正負號，要特別記錄）；
3是自變量和因變量一起做相關系數，看各個變量相關關系強弱，為下一步檢驗多重共線性做準備；
4是自變量多重共線性診斷。若變量存在多重共線性，可采用主成分回歸，即先將存在多重共線性的變量做主成分分析合并為1個變量，然后再將合并成的新變量和其余自變量一起納入模型做回歸；
5是做殘差圖，看殘差圖分布是否均勻（一般在+-3個單位之間均勻分布就比較好）；
6是報告相應結果。

心得2：看到論壇上有網友問為什么他（她）老師不建議采用后向步進法處理變量多重共線性。
記得張文彤老師說過他有個同學做過一個研究，即采用后向步進法剔除變量的方式去做回歸，得到的結果犯錯的幾率比較大。張老師也不建議用這個方法處理多重共線性。處理多重共線性比較好的方法是做主成分回歸。
心得3：有個朋友問我在報到回歸結果時用未標準化的回歸系數好，還是用標準化后的回歸系數好。
我個人覺得這個問題仁者見仁智者見智，要看想表達什么。具體而言，如果想表達在其它條件不變的情況下，自變量X每變化1個單位，因變量變化多少個單位，這種情況用未標準化回歸系數就好；如果想比較各個自變量對因變量影響的相對大小，即判斷相對而言，哪個變量對因變量影響更大。這時需要消除量綱的影響，看標準化后的回歸系數。
心得4：這是投稿一篇SSCI外審專家提出的意見。
我做的是 無序多分類logistic回歸模型。因變量分了5類，有一類個數比較多，達到300多，有1-2類個案比較少，只有30左右。專家提到了要做穩健性檢驗。這個用stata軟件編程加一個robust即可解決問題。不知道在SPSS里面怎么做。歡迎知道的朋友一起討論下。我個人認為這是一個好問題的。不做穩健性檢驗模型可能受一些極端值的影響，結果不穩定?？赡鼙緛盹@著的變量剔除1-2個樣本后就變得不顯著了。所以做回歸分析穩健性檢驗也比較重要。