作者 | 常國珍、趙仁乾、張秋劍

來源 |《Python數據科學：技術詳解與商業實踐》

數據清洗是數據分析的必備環節，在進行分析過程中，會有很多不符合分析要求的數據，例如重復、錯誤、缺失、異常類數據。

01 重復值處理

數據錄入過程、數據整合過程都可能會產生重復數據，直接刪除是重復數據處理的主要方法。pandas提供查看、處理重復數據的方法duplicated和drop_duplicates。以如下數據為例:

>sample = pd.DataFrame({'id':[1,1,1,3,4,5],
 'name':['Bob','Bob','Mark','Miki','Sully','Rose'],
 'score':[99,99,87,77,77,np.nan],
 'group':[1,1,1,2,1,2],})
>sample
group id name score
0 1 1 Bob 99.0
1 1 1 Bob 99.0
2 1 1 Mark 87.0
3 2 3 Miki 77.0
4 1 4 Sully 77.0
5 2 5 Rose NaN

發現重復數據通過duplicated方法完成，如下所示，可以通過該方法查看重復的數據。

>sample[sample.duplicated()]
group id name score
1 1 1 Bob 99.0

需要去重時，可drop_duplicates方法完成：

>sample.drop_duplicates()
group id name score
0 1 1 Bob 99.0
2 1 1 Mark 87.0
3 2 3 Miki 77.0
4 1 4 Sully 77.0
5 2 5 Rose NaN

drop_duplicates方法還可以按照某列去重，例如去除id列重復的所有記錄：

>sample.drop_duplicates('id')
group id name score
0 1 1 Bob 99.0
3 2 3 Miki 77.0
4 1 4 Sully 77.0
5 2 5 Rose NaN

02 缺失值處理

缺失值是數據清洗中比較常見的問題，缺失值一般由NA表示，在處理缺失值時要遵循一定的原則。

首先，需要根據業務理解處理缺失值，弄清楚缺失值產生的原因是故意缺失還是隨機缺失，再通過一些業務經驗進行填補。一般來說當缺失值少于20%時，連續變量可以使用均值或中位數填補；分類變量不需要填補，單算一類即可，或者也可以用眾數填補分類變量。

當缺失值處于20%-80%之間時，填補方法同上。另外每個有缺失值的變量可以生成一個指示啞變量，參與后續的建模。當缺失值多于80%時，每個有缺失值的變量生成一個指示啞變量，參與后續的建模，不使用原始變量。

在下圖中展示了中位數填補缺失值和缺失值指示變量的生成過程。

▲圖5-8：缺失值填補示例

Pandas提供了fillna方法用于替換缺失值數據，其功能類似于之前的replace方法，例如對于如下數據：

> sample
 group id name score
0 1.0 1.0 Bob 99.0
1 1.0 1.0 Bob NaN
2 NaN 1.0 Mark 87.0
3 2.0 3.0 Miki 77.0
4 1.0 4.0 Sully 77.0
5 NaN NaN NaN NaN

分步驟進行缺失值的查看和填補如下：

1. 查看缺失情況

在進行數據分析前，一般需要了解數據的缺失情況，在Python中可以構造一個lambda函數來查看缺失值，該lambda函數中，sum(col.isnull())表示當前列有多少缺失，col.size表示當前列總共多少行數據：

>sample.apply(lambda col:sum(col.isnull())/col.size)
group 0.333333
id 0.166667
name 0.166667
score 0.333333
dtype: float64

2. 以指定值填補

pandas數據框提供了fillna方法完成對缺失值的填補，例如對sample表的列score填補缺失值，填補方法為均值：

>sample.score.fillna(sample.score.mean())
0 99.0
1 85.0
2 87.0
3 77.0
4 77.0
5 85.0
Name: score, dtype: float64

當然還可以以分位數等方法進行填補：

>sample.score.fillna(sample.score.median())
0 99.0
1 82.0
2 87.0
3 77.0
4 77.0
5 82.0
Name: score, dtype: float64

3. 缺失值指示變量

pandas數據框對象可以直接調用方法isnull產生缺失值指示變量，例如產生score變量的缺失值指示變量：

>sample.score.isnull()
0 False
1 True
2 False
3 False
4 False
5 True
Name: score, dtype: bool

若想轉換為數值0，1型指示變量，可以使用apply方法，int表示將該列替換為int類型。

>sample.score.isnull().apply(int)
0 0
1 1
2 0
3 0
4 0
5 1
Name: score, dtype: int64

03 噪聲值處理

噪聲值指數據中有一個或幾個數值與其他數值相比差異較大，又稱為異常值、離群值(outlier)。

對于大部分的模型而言，噪聲值會嚴重干擾模型的結果，并且使結論不真實或偏頗，如圖5-9。需要在數據預處理的時候清除所以噪聲值。噪聲值的處理方法很多，對于單變量，常見的方法有蓋帽法、分箱法；多變量的處理方法為聚類法。下面進行詳細介紹：

▲圖5-9：噪聲值（異常值、離群值）示例：年齡數據，圓圈為噪聲值

1. 蓋帽法

蓋帽法將某連續變量均值上下三倍標準差范圍外的記錄替換為均值上下三倍標準差值，即蓋帽處理（圖5-10）。

▲圖5-10：蓋帽法處理噪聲值示例

Python中可自定義函數完成蓋帽法。如下所示，參數x表示一個pd.Series列，quantile指蓋帽的范圍區間，默認凡小于百分之1分位數和大于百分之99分位數的值將會被百分之1分位數和百分之99分位數替代：

>def cap(x,quantile=[0.01,0.99]):
 """蓋帽法處理異常值
 Args：
 x：pd.Series列，連續變量
 quantile：指定蓋帽法的上下分位數范圍
 """

# 生成分位數
 Q01,Q99=x.quantile(quantile).values.tolist()

# 替換異常值為指定的分位數
 if Q01 > x.min():
 x = x.copy()
 x.loc[x<Q01] = Q01

 if Q99 < x.max():
 x = x.copy()
 x.loc[x>Q99] = Q99

 return(x)

現生成一組服從正態分布的隨機數，sample.hist表示產生直方圖，更多繪圖方法會在下一章節進行講解：

>sample = pd.DataFrame({'normal':np.random.randn(1000)})
>sample.hist(bins=50)

▲圖5-11：未處理噪聲時的變量直方圖

對pandas數據框所有列進行蓋帽法轉換，可以以如下寫法，從直方圖對比可以看出蓋帽后極端值頻數的變化。

>new = sample.apply(cap,quantile=[0.01,0.99])
>new.hist(bins=50)

▲圖5-12：處理完噪聲后的變量直方圖

2. 分箱法

分箱法通過考察數據的“近鄰”來光滑有序數據的值。有序值分布到一些桶或箱中。

分箱法包括等深分箱：每個分箱中的樣本量一致；等寬分箱：每個分箱中的取值范圍一致。直方圖其實首先對數據進行了等寬分箱，再計算頻數畫圖。

比如價格排序后數據為：4、8、15、21、21、24、25、28、34

將其劃分為（等深）箱：

• 箱1：4、8、15
• 箱2：21、21、24
• 箱3：25、28、34

將其劃分為（等寬）箱：

• 箱1：4、8
• 箱2：15、21、21、24
• 箱3：25、28、34

分箱法將異常數據包含在了箱子中，在進行建模的時候，不直接進行到模型中，因而可以達到處理異常值的目的。

pandas的qcut函數提供了分箱的實現方法，下面介紹如何具體實現。

等寬分箱：qcut函數可以直接進行等寬分箱，此時需要的待分箱的列和分箱個數兩個參數，如下所示，sample數據的int列為從10個服從標準正態分布的隨機數：

>sample =pd.DataFrame({'normal':np.random.randn(10)})
>sample
normal
0 0.065108
1 -0.597031
2 0.635432
3 -0.491930
4 -1.894007
5 1.623684
6 1.723711
7 -0.225949
8 -0.213685
9 -0.309789

現分為5箱，可以看到，結果是按照寬度分為5份，下限中，cut函數自動選擇小于列最小值一個數值作為下限，最大值為上限，等分為五分。結果產生一個Categories類的列，類似于R中的factor，表示分類變量列。

此外弱數據存在缺失，缺失值將在分箱后將繼續保持缺失，如下所示：

>pd.cut(sample.normal,5)
 0 (-0.447, 0.277]
 1 (-1.17, -0.447]
 2 (0.277, 1.0]
 3 (-1.17, -0.447]
 4 (-1.898, -1.17]
 5 (1.0, 1.724]
 6 (1.0, 1.724]
 7 (-0.447, 0.277]
 8 (-0.447, 0.277]
 9 (-0.447, 0.277]
Name: normal, dtype: category
Categories (5, interval[float64]): [(-1.898, -1.17] < (-1.17, -0.447] < (-0.447, 0.277] < (0.277, 1.0] < (1.0, 1.724]]

這里也可以使用labels參數指定分箱后各個水平的標簽，如下所示，此時相應區間值被標簽值替代：

> pd.cut(sample.normal,bins=5,labels=[1,2,3,4,5])
0 1
1 1
2 2
3 2
4 3
5 3
6 4
7 4
8 5
9 5
Name: normal, dtype: category
Categories (5, int64): [1 < 2 < 3 < 4 < 5]

標簽除了可以設定為數值,也可以設定為字符，如下所示，將數據等寬分為兩箱，標簽為‘bad’，‘good’：

>pd.cut(sample.normal,bins=2,labels=['bad','good'])
0 bad
1 bad
2 bad
3 bad
4 bad
5 good
6 good
7 good
8 good
9 good
Name: normal, dtype: category
Categories (2, object): [bad < good]

等深分箱：等深分箱中，各個箱的寬度可能不一，但頻數是幾乎相等的，所以可以采用數據的分位數來進行分箱。依舊以之前的sample數據為例，現進行等深度分2箱，首先找到2箱的分位數：

>sample.normal.quantile([0,0.5,1])
0.0 0.0
0.5 4.5
1.0 9.0
Name: normal, dtype: float64

在bins參數中設定分位數區間，如下所示完成分箱，include_lowest=True參數表示包含邊界最小值包含數據的最小值：

>pd.cut(sample.normal,bins=sample.normal.quantile([0,0.5,1]),
 include_lowest=True)
0 [0, 4.5]
1 [0, 4.5]
2 [0, 4.5]
3 [0, 4.5]
4 [0, 4.5]
5 (4.5, 9]
6 (4.5, 9]
7 (4.5, 9]
8 (4.5, 9]
9 (4.5, 9]
Name: normal, dtype: category
Categories (2, object): [[0, 4.5] < (4.5, 9)]

此外也可以加入label參數指定標簽，如下所示：

>pd.cut(sample.normal,bins=sample.normal.quantile([0,0.5,1]),
 include_lowest=True)
0 bad
1 bad
2 bad
3 bad
4 bad
5 good
6 good
7 good
8 good
9 good
Name: normal, dtype: category
Categories (2, object): [bad < good]

3. 多變量異常值處理-聚類法

通過快速聚類法將數據對象分組成為多個簇，在同一個簇中的對象具有較高的相似度，而不同的簇之間的對象差別較大。聚類分析可以挖掘孤立點以發現噪聲數據，因為噪聲本身就是孤立點。

本案例考慮兩個變量income和age，散點圖如圖5-13所示，其中A、B表示異常值：

▲圖5-13：多變量異常值示例

對于聚類方法處理異常值，其步驟如下所示：

輸入：數據集S（包括N條記錄，屬性集D：{年齡、收入}），一條記錄為一個數據點，一條記錄上的每個屬性上的值為一個數據單元格。數據集S有N×D個數據單元格，其中某些數據單元格是噪聲數據。

輸出：孤立數據點如圖所示。孤立點A是我們認為它是噪聲數據，很明顯它的噪聲屬性是收入，通過對收入變量使用蓋帽法可以剔除A。

另外，數據點B也是一個噪聲數據，但是很難判定它在哪個屬性上的數據出現錯誤。這種情況下只可以使用多變量方法進行處理。

常用檢查異常值聚類算法為K-means聚類，會在后續章節中詳細介紹，本節不贅述。