作者 | CDA數據分析師

從菜市場買來的菜,總有一些不太好的，所以把菜買回來以后要先做一遍預處理，把那些不太好的部分扔掉?，F實中大部分的數據都類似于菜市場的菜品，拿到以后都要先做一次預處理。

常見的不規整的數據主要有缺失數據、重復數據、異常數據幾種，在開始正式的數據分許之前，我們需要先把這些不太規整的數據處理掉。

一、缺失值的處理

缺失值就是由某些原因導致部分數據為空，對于為空的這部分數據我們一般有兩種處理方式，一種是刪除，即把含有缺失值的數據刪除；另一種是填充，即把缺失的那部分數據用某個值代替。

1、缺失值查看

對缺失值進行處理，首先要把缺失值找出來，也就是查看哪列有缺失值。

（1）Excel實現

在Excel中我們先選中一列沒有缺失值的數據，看一下這一列數據共有多少個，然后把其他列的計數與這一列進行對比，小于這一列數據個數的就代表有缺失值，差值就是缺失的個數。

下圖中非缺失值列的數據計數為5，性別這一列的計數為4，這就表示性別這一列有1個缺失值。

如果想看整個數據表中每列數據的缺失情況，則要挨個選中每一列去判斷該列是否有缺失值。

如果數據不是特別多，你想看具體是哪個單元格缺失，則可以利用定位條件（按快捷鍵Ctrl+G可彈出定位條件的對話框）查找。在定位條件的對話框中選擇空值，單擊確定就會把所有的空值選中，如下圖所示：

通過定位條件把缺失值選出來的結果，如下圖所示：

（2）Python實現

在Python中直接調用info（）方法就會返回每一列值的缺失情況。關于info（）方法我們在前面就用過，但是沒有說明這個方法可以判斷數據的缺失情況。

Python中缺失值一般用NaN表示，從用info（）方法的結果來看，性別這一列是3non-null object，表示性別這一列有3個非null值，而其他列有4個非null值，說明性別這一列有一個null值。

我們還可以用isnull（）方法來判斷那個值是缺失值，如果是缺失值則返回True，如果不是缺失值則返回False。

2、缺失值刪除

缺失值分為兩種，一種是一行中某個字段是缺失值；另一種是一行中的一個字段全部為缺失值，即為一個空白行。

（1）Excel實現

在Excel中，這兩種缺失值都可以通過在定位條件（按快捷鍵Ctrl+G可彈出定位條件的對話框）對話框中選擇空值找到。

這樣含有缺失值的部分就會被選中，包括某個具體的單元格及一整行，然后單擊鼠標右鍵在彈出的刪除對話框中選擇刪除整行選項，并單擊確定按鈕即可實現整行的刪除。

(2)Python實現

在Python中,我們利用的是dropna（）的方法，dropna（）的方法默認刪除含有缺失值的行，也就是只有某一行有缺失值就把這一行刪除。

運行dropna（）方法以后，刪除含有NaN的行，返回刪除后的數據。如果想刪除空白行，只要給dropna（）方法傳入一個參數how=all即可，這樣就會只刪除哪些全為空值的行了，不全為空值的行就不會被刪除。

上表第二行中只有性別這個字段是空值，所以在利用dropna（how=“all”）的時候并沒有刪除第二行，只是把全為NaN值的第三行刪除掉了。

3、缺失值填充

上面 介紹了缺失值的刪除，但是數據是寶貴的，一般情況下只要數據缺失比例不是過高（不大于30%），盡量別刪除，而是選擇填充。

（1）Excel實現

在Excel中，缺失值的填充和缺失值的刪除一樣，利用的也是定位條件，先把缺失值找到，然后在第一個缺失值的單元格中輸入要填充的值，最常用的就是用0填充，輸入以后按Ctrl+Enter組合鍵就可以對所有的缺失值進行填充。

缺失值填充前后的對比如下圖所示：

年齡用數字填充合適，但是性別用數字填充就不太合適，那么可不可以分開填充呢？答案是可以的，選中要填充的那一列，按照填充全部數據的方式進行填充即可，只不過要填充幾列，需要執行幾次操作。

上圖是填充前后的對比，年齡這一列我們用平均值進行填充，性別這一列我們用眾數進行填充。

除了用0填充、平均值填充、眾數（大多數）填充，還有向前填充（即用缺失值的前一個非缺失值填充，比如上例中編號A3對應的缺失年齡的前一個非缺失值就是16）、向后填充（與向前填充對應）等方式。

（2）Python實現

在Python中，我們利用的fillna（）方法對數據表中的所有缺失值進行填充，在fillna后面的括號中輸入要填充的值即可。

在Python中我們也可以按不同列填充，只要在fillna（）方法的括號中指明列名即可。

上面代碼中只針對這一列進行了填充，其他列未進行任何更改。

也可以同時對多列填充不同的值：

二、重復值處理

重復數據就是同樣的記錄有多條，對于這樣的數據我們一般做刪除處理。

假設你是一名數據分析師，你的主要工作是分析公司的銷售情況，現有公司2018年8月的銷售明細（一直一條明細對應一筆成交記錄），你想看一下8月份整體成交量是多少，最簡單的方式就是看一下有多少條成交明細。但是這里可能會有重復的成交記錄存在，所以要先刪除重復項。

（1）Excel實現

在Excel中依次單擊菜單欄中的數據>數據工具>刪除重復值，就可以刪除重復數據了，如下圖所示：

刪除前后的對比如下圖所示：

Excel的刪除重復值默認針對所有值進行重復值判斷，有訂單編號、客戶姓名、唯一識別碼（類似于身份證號）、成交時間這四個字段，Excel會判斷這四個字段是否都相等，只有都相等時才會刪除，且保留第一個（行）值。

你知道了公司8月份成交明細以后，你想看一下8月份總共有多少成交客戶，且每個客戶在8月份首次成交的日期。

查看客戶數量只需要按客戶的唯一識別碼進行去重就可以了。Excel默認是全選，我們可以取消全選，選擇唯一識別碼進行去重，這樣重要唯一識別碼重復就會被刪除，如下圖所示：

因為Excel默認會保留第一條記錄，而我們又想要獲取每個客戶的較早成交日期，所以我們需要先對時間進行升序排列，讓較早的時間排在前面，這樣在刪除的時候就會保留較早的成交日期了。

刪除前后的對比如下圖所示：

（2）Python實現

在Python中我們利用drop_duplicates()的方法,該方法默認對所有值進行重復值判斷，且默認保留第一個（行）值。

上面的代碼是針對所有字段進行的重復值判斷，我們同樣也可以只針對某一列或者某幾列進行重復值刪除的判斷，只需要在drop_duplicates()方法中指明要判斷的列名即可。

也可以利用多列去重，只需要把多個列名以列表的形式傳給參數subset即可。比如按姓名和唯一識別碼去重。

還可以自定義刪除重復項時保留哪個，默認保留第一個，也可以設置保留最后一個，或者全部不保留。通過傳入參數keep進行設置，參數keep默認值是first，即保留第一個值；也可以是last，保留最后一個值；還可以是False，即把重復值全部刪除。

三、異常值的檢測與處理

異常值就是相比正常數據而言過高或者過低的數據，比如一個人的年齡是0歲或者300歲都算是一個異常值，因為這和實際情況差距過大。

1、異常值檢測

要處理異常值首先要檢測，也就是發現異常值，發現異常值的方式主要有以下三種。

●根據業務經驗劃定不同指標的正常范圍，超過該范圍的值算作異常值。

●通過繪制箱型圖，把大于（小于）箱型圖上邊緣（下邊緣）的點稱為異常值

●如果數據服從正態分布，則可以利用3σ原則；如果一個數值與平均值之間的偏差超過三倍標準差，那么我們就認為這個值是異常值。

箱型圖如下圖所示：

下圖為正太分布圖，我們把大于μ+3σ的值稱為異常值。

2、異常值處理

對于異常值一般有以下幾種處理方式：

●最常用的處理方式就是刪除。

●把異常值當做缺失值處理。

●把異常值當做特殊情況，研究異常值出現的原因。

（1）Excel實現

在Excel中，刪除異常值只要通過篩選把異常值對應的行找出來，然后單擊鼠標右鍵選擇刪除即可。

對異常值進行填充，其實就是對異常值進行替換，同樣通過篩選功能把異常值先找出來，然后把這些異常值替換成要填充的值即可。

（2）Python實現

在Python中，刪除異常值用到的方法和Excel中的方法原理類似，在Python中是通過過濾的方法對異常值進行刪除。比如df表中有年齡這個指標，要把年齡大于200的值刪掉，你可以通過篩選把年齡不大于200的篩選出來，篩出來的部分就是刪除大于200的值以后的新表。

對異常值進行填充，就是對異常值進行替換，利用replace（）方法可以對特定的值進行替換。

四、數據類型轉換

1、數據類型

（1）Excel實現

在Excel中常用的數據類型就是在菜單欄中數字選項下面的幾種，你可以選擇其他數據格式，如下圖所示：

在Excel中只要選中某一列就可以在菜單欄看到這一列的數據類型。

當選中成交時間這一列的時候，菜單欄中就會顯示日期，表示成交時間這一列的數據類型是日期格式，如下圖所示：

（2）Python實現

Pandas不像Excel分的那么詳細，它主要有6種數據類型，如下圖所示：

在Python中，不僅可以用info（）方法獲取每一列的數據類型，還可以通過dtype方法來獲取某一列的數據類型。

2、類型轉換

我們在前面說過，不同數據類型的數據可以做的事情是不一樣的，所以我們需要對數據進行類型轉化，把數據轉換為我們需要的類型。

（1）Excel實現

在Excel中如果想要改變某一列的數據類型，只要選中這一列，然后在數字菜單欄中通過下拉菜單選擇你要轉換的目標類型即可實現。

下圖就是將文本類型的數據轉換成數值類型的數據，數值類型的數據默認為兩位小數，也可以設置成其他位數。

（2）Python實現

在Python中，我們利用astype（）方法對數據類型進行轉換，astype后面的括號里指明要轉換的目標類型即可。

五、索引設置

索引是查找數據依據，設置索引的目的是便于我們查找數據。舉個例子，你逛超市買了很多食材。

回到家以后要把他們放在冰箱里，放的過程其實就是一個建立索引的過程，比如蔬菜放在冷藏室里，肉類放在冷凍室里，這樣找的時候就很快就可以找到了。

1、為無索引表添加索引

有的表沒有索引，這時要給這類表加一個索引。

（1）Excel實現

在Excel中，一般都有索引的，如果沒索引數據看起來會很亂，當然也會有例外，數據表就是沒有索引的。這時候插入一行一列就是為表添加索引。

添加索引前后的對比如下圖所示，序號列為行索引，字段名稱為列索引。

（2）Python實現

在Python中，如果表沒有索引，會默認用從0開始的自然數做索引，比如下面這樣：

通過給表df的columns參數傳入列索引值，index參數傳入行索引值達到為無索引表添加索引的目的，具體實現如下：

2、重新設置索引

重新設置索引，一般指行索引的設置。有的表雖然有索引，但不是我們想要的索引,比如現在有一個表是把序號作為行索引，而我們想要吧訂單編號作為行索引，該怎么實現呢？

（1）Excel實現

在Excel中重新設置行索引比較簡單，你想讓哪一列做行索引，直接把這一列拖到第一列的位置即可。

（2）Python實現

在Python中可以利用set_index()方法重新設置索引列，在set_index()里指明要用作行索引的列的名稱即可。

在重新設置索引時，還可以給set_index()方法傳入兩個或者多個列名，我們把這種一個表中用哪個多列來做索引的方式稱為層次化索引，層次化索引一般用在某一列中含有多個重復值的情況下。層次化索引的例子，如下所示，其中a、b、c、d分別有多個重復值。

3、重命名索引

重命名索引是針對現有的索引名進行修改的，就是改字段名。

（1）Excel實現

在Excel中重命名索引比較簡單，就是直接修改字段名。

（2）Python實現

在Python中重命名索引，我們利用的是rename()方法，在rename后的括號里指明要修改的行索引及列索引名。

4、重置索引

重置索引主要用在層次化索引表中，重置索引是將索引列當做一個columns進行返回。

在下圖左側的表中，Z1，Z2是一個層次化索引，經過重置索引以后，Z1、Z2這兩個索引以columns的形式返回，變為常規的兩列。

在Excel中，我們要進行這種轉換，直接通過復制、粘貼、刪除等功能就可以實現，比較簡單。我們主要講一下在Python中怎么實現。

在Python利用的是reset_index()方法，reset_index()方法常用的參數如下：

level參數用來指定要將層次化索引的第幾級別轉化為columns，第一個索引為0級，第二個索引為1級，默認為全部索引，即默認吧索引全部轉化為columns。

drop參數是用來指定是否將原索引刪掉，即不作為一個新的columns，默認為False，即不刪除原索引。

inplace參數用來指定是否修改原數據表。

reset_index()方法常用于數據分組、數據透視表中。