作者 | 劉順祥

來源 | 數據分析1480

數據分析過程中最頭疼也是工作量最大的部分算是探索和清洗了——探索的目的是了解數據，了解數據背后隱藏的規律；洗的目的則是為了讓干凈的數據進入分析或建模的下一個環節。小編將通過三篇文章，詳細講解工作中常規的數據清洗方法，包括數據類型的轉換，重復數據的處理，缺失值的處理以及異常數據的識別和處理。這是Python數據清洗系列的第一篇文章，主要分享的內容包括——數據類型的轉換and冗余數據的識別和處理.

數據類型的判斷和轉換

如下表所示，為某公司用戶的個人信息和交易數據，涉及的字段為用戶id、性別、年齡、受教育水平、交易金額和交易日期。從表面上看，似乎沒有看出數據背后可能存在的問題，那接下來就將其讀入到Python中，并通過探索的方式發現數據中的問題。

讀取數據，以及查看數據規模、查看數據中各變量的數據類型的代碼如下：

# 導入第三方包
import pandas as pd

# 讀入外部數據
data3 = pd.read_excel(io=r'C:\Users\Administrator\Desktop\datas\data3.xlsx')
# 查看數據的規模
data3.shape
out:
(3000, 6)

# 查看表中各變量的數據類型
# data3.dtypes
out:

表中各變量的數據類型如表下表所示：

上述代碼利用shape“方法”返回了數據集的規模，即該數據包含3000行6列；通過dtypes“方法”則返回了數據集中各變量的數據類型——除id變量和age變量為數值型，其余變量均為字符型。直觀上能夠感受到一點問題，即數據類型不對，例如用戶id應該為字符型，消費金額custom_amt為數值型，訂單日期為日期型。如果發現數據類型不對，如何借助于Python工具實現數據類型的轉換呢？可參照如下代碼的實現。

# 數值型轉字符型
data3['id'] = data3['id'].astype(str)
# 字符型轉數值型
data3['custom_amt'] = data3['custom_amt'].str[1:].astype(float)
# 字符型轉日期型
data3['order_date'] = pd.to_datetime(data3['order_date'], format = '%Y年%m月%d日')

# 重新查看數據集的各變量類型
data3.dtypes
out:

這些數據經過處理后，各個字段的數據類型如下表所示：

如上結果所示，三個變量全都轉換成了各自所期望的數據類型。astype“方法”用于數據類型的強制轉換，可選擇的常用轉換類型包括str（表示字符型）、float（表示浮點型）和int（表示整型）。由于消費金額custom_amt變量中的值包含人民幣符號“￥”，所以在數據類型轉換之前必須將其刪除（通過字符串的切片方法刪除，[1:]表示從字符串的第二個元素開始截斷）。對于字符轉日期問題，推薦使用更加靈活的to_datetime函數，因為它在format參數的調節下，可以識別任意格式的字符型日期值。

需要注意的是，Python中的函數有兩種表現形式，一種是常規理解下的函數（語法為func(parameters)，如to_datetime函數），另一種則是“方法”（語法為obj.func(parameters)，如dtypes和astype“方法”）。兩者的區別在于 “方法”是針對特定對象的函數（即該“方法”只能用在某個固定類型的對象上），而函數并沒有這方面的限制。

基于如上類型的轉換結果，最后瀏覽一下數據的展現形式：

# 預覽數據的前5行
data3.head()

冗余數據的判斷和處理

如上過程是對數據中各變量類型的判斷和轉換，除此還需要監控表中是否存在“臟”數據，如冗余的重復觀測和缺失值等?？梢酝ㄟ^duplicated“方法”進行 “臟”數據的識別和處理。仍然對上邊的data3數據為例進行操作，具體代碼如下所示。

# 判斷數據中是否存在重復觀測
data3.duplicated().any()

out:
False

如上結果返回的是False，說明該數據集中并不存在重復觀測。假如讀者利用如上的代碼在數據集中發現了重復觀測，可以使用drop_duplicates“方法”將冗余信息刪除。

需要說明的是，在使用duplicated“方法”對數據行作重復性判斷時，會返回一個與原數據行數相同的序列（如果數據行沒有重復，則對應False，否則對應True），為了得到最終的判斷結果，需要再使用any“方法”（即序列中只要存在一個True，則返回True）。

duplicated“方法”和drop_duplicates“方法”都有一個非常重要的參數，就是subset。默認情況下不設置該參數時，表示對數據的所有列進行重復性判斷；如果需要按指定的變量做數據的重復性判斷時，就可以使用該參數指定具體的變量列表。舉例如下：

# 構造數據
df = pd.DataFrame(dict(name = ['張三','李四','王二','張三','趙五','丁一','王二'],
 gender = ['男','男','女','男','女','女','男'],
 age = [29,25,27,29,21,22,27],
 income = [15600,14000,18500,15600,10500,18000,13000],
 edu = ['本科','本科','碩士','本科','大專','本科','碩士']))
# 查看數據
df

目測有兩條數據完全一樣，就是用戶張三，如果直接使用drop_duplicates“方法”，而不做任何參數的修改時，將會刪除第二次出現的用戶張三。代碼如下：

# 默認情況下，對數據的所有變量進行判斷
df.drop_duplicates()

假設在數據清洗中，用戶的姓名和年齡相同就認為是重復數據，那么該如何基于這兩個變量進行重復值的刪除呢？此時就需要使用subset參數了，代碼如下：

df.drop_duplicates(subset=['name','age'])

需要注意的是，使用drop_duplicates“方法”刪除重復數據，并不能直接影響到原始數據，即原始數據中還是存在重復觀測的。如需使drop_duplicates“方法”的刪除功能作用在原始數據中，必須將inplace參數設置為True。

本期的內容就介紹到這里，下一篇將分享缺失值的識別和處理技術。