關于SPSS數據預處理

關于SPSS數據預處理

拿到一份數據，或者在看到國內外某個學者的文章有想法而自己手里的數據剛好符合這個想法可以做時，在整理好數據后不要急于建模。一定要對數據做缺失值處理、異常值處理。在數據預處理的基礎上再進一步建模，否則可能得到錯誤的結果。

心得1：數據預處理怎么做。

一是 缺失值的處理。我個人有幾個看法：

數據樣本量足夠大，在刪除缺失值樣本的情況下不影響估計總體情況，可考慮刪除缺失值；

二是數據樣本量本身不大的情況下，可從以下兩點考慮：1是采用缺失值替換，SPSS中具體操作為“轉換”菜單下的“替換缺失值”功能，里面有5種替換的方法。若數據樣本量不大，同質性比較強，可考慮總體均值替換方法，如數據來自不同的總體（如我做農戶調研不同村的數據），可考慮以一個小總體的均值作為替換（如我以一個村的均值替換缺失值）。2是根據原始問卷結合客觀實際自行推斷估計一個缺失值的樣本值，或者以一個類似家庭的值補充缺失值。

心得2：數據預處理第二點異常值的處理。

我大概學了兩門統計軟件SPSS和Stata，SPSS用的時間久些，熟悉一下，Stata最近才學，不是太熟。關于這點我結合著來說。關于異常值的處理可分為兩點，一是怎么判定一個值是異常值，二是怎么去處理。

判定異常值的方法我個人認為常用的有兩點：1是描述性統計分析，看均值、標準差和最大最小值。一般情況下，若標準差遠遠大于均值，可粗略判定數據存在異常值。2是通過做指標的箱圖判定，箱圖上加“*”的個案即為異常個案。

發現了異常值，接下來說怎么處理的問題。大概有三種方法：

1是正偏態分布數據取對數處理。我做農戶微觀實證研究，很多時候得到的數據（如收入）都有很大的異常值，數據呈正偏態分布，這種我一般是取對數處理數據。若原始數據中還有0，取對數ln(0)沒意義，我就取ln(x+1)處理；

2是樣本量足夠大刪除異常值樣本；

3是從stata里學到的，對數據做結尾或者縮尾處理。這里的結尾處理其實就是同第二個方法，在樣本量足夠大的情況下刪除首尾1%-5%的樣本?？s尾指的是人為改變異常值大小。如有一組數據，均值為50，存在幾個異常值，都是500多（我這么說有點夸張，大概是這個意思），縮尾處理就是將這幾個500多的數據人為改為均值+3標準差左右數據大小，如改為100。

總結而言，我個人認為做數據變換的方式比較好，數據變換后再做圖或描述性統計看數據分布情況，再剔除個別極端異常值。CDA數據分析師培訓官網