python數據清洗系列之字符串處理詳解

數據清洗是一項復雜且繁瑣(kubi)的工作，同時也是整個數據分析過程中最為重要的環節。有人說一個分析項目80%的時間都是在清洗數據，這聽起來有些匪夷所思，但在實際的工作中確實如此。數據清洗的目的有兩個，第一是通過清洗讓數據可用。第二是讓數據變的更適合進行后續的分析工作。換句話說就是有”臟”數據要洗，干凈的數據也要洗。

在數據分析中，特別是文本分析中，字符處理需要耗費極大的精力，因而了解字符處理對于數據分析而言，也是一項很重要的能力。
字符串處理方法

首先我們先了解下都有哪些基礎方法

首先我們了解下字符串的拆分split方法    
str='i like apple,i like bananer'
print(str.split(','))

對字符str用逗號進行拆分的結果：

['i like apple', 'i like bananer']    
print(str.split(' '))

根據空格拆分的結果：

['i', 'like', 'apple,i', 'like', 'bananer']    
print(str.index(','))
print(str.find(','))

兩個查找結果都為：

12

找不到的情況下index返回錯誤，find返回-1    
print(str.count('i'))

結果為：
connt用于統計目標字符串的頻率    
print(str.replace(',', ' ').split(' '))

結果為：

['i', 'like', 'apple', 'i', 'like', 'bananer']

這里replace把逗號替換為空格后，在用空格對字符串進行分割，剛好能把每個單詞取出來。

除了常規的方法以外，更強大的字符處理工具費正則表達式莫屬了。

正則表達式

在使用正則表達式前我們還要先了解下，正則表達式中的諸多方法。

下面我來看下個方法的使用，首先了解下match和search方法的區別    
str = "Cats are smarter than dogs"
pattern=re.compile(r'(.*) are (.*?) .*')
result=re.match(pattern,str)
 
for i in range(len(result.groups())+1):
 print(result.group(i))

結果為：

Cats are smarter than dogs
Cats
smarter

這種形式的pettern匹配規則下，match和search方法的的返回結果是一樣的

此時如果把pattern改為    
pattern=re.compile(r'are (.*?) .*')

match則返回none，search返回結果為：

are smarter than dogs
smarter

接下來我們了解下其他方法的使用    
str = "138-9592-5592 # number"
pattern=re.compile(r'#.*$')
number=re.sub(pattern,'',str)
print(number)

結果為：

138-9592-5592

以上是通過把#號后面的內容替換為空實現提取號碼的目的。

我們還可以進一步對號碼的橫桿進行替換    
print(re.sub(r'-*','',number))

結果為：

13895925592

我們還可以用find的方法把找到的字符串打印出來    
str = "138-9592-5592 # number"
pattern=re.compile(r'5')
print(pattern.findall(str))

結果為：

['5', '5', '5']

正則表達式的整體內容比較多，需要我們對匹配的字符串的規則有足夠的了解，下面是具體的匹配規則。

矢量化字符串函數
清理待分析的散亂數據時，常常需要做一些字符串規整化工作。    
data = pd.Series({'li': '120@qq.com','wang':'5632@qq.com',
 'chen': '8622@xinlang.com','zhao':np.nan,'sun':'5243@gmail.com'})
print(data)

結果為：

可以通過規整合的一些方法對數據做初步的判斷，比如用contains 判斷每個數據中是否含有關鍵詞    
print(data.str.contains('@'))
結果為：

也可以對字符串進行分拆，把需要的字符串提取出來    
data = pd.Series({'li': '120@qq.com','wang':'5632@qq.com',
     'chen': '8622@xinlang.com','zhao':np.nan,'sun':'5243@gmail.com'})
pattern=re.compile(r'(\d*)@([a-z]+)\.([a-z]{2,4})')
result=data.str.match(pattern) #這里用fillall的方法也可以result=data.str.findall(pattern)
print(result)

結果為：

chen [(8622, xinlang, com)]
li [(120, qq, com)]
sun [(5243, gmail, com)]
wang [(5632, qq, com)]
zhao NaN
dtype: object

此時加入我們需要提取郵箱前面的名稱    
print(result.str.get(0))

結果為：

或者需要郵箱所屬的域名    
print(result.str.get(1))

結果為：

當然也可以用切片的方式進行提取，不過提取的數據準確性不高    
data = pd.Series({'li': '120@qq.com','wang':'5632@qq.com',
    'chen': '8622@xinlang.com','zhao':np.nan,'sun':'5243@gmail.com'})
print(data.str[:6])

結果為：

最后我們了解下矢量化的字符串方法

總結
以上就是python數據清洗之字符串處理的全部內容了