熱線電話：13121318867

登錄
首頁精彩閱讀如何利用 pandas 根據數據類型進行篩選？
如何利用 pandas 根據數據類型進行篩選？
2021-09-24
收藏

來源：早起Python

作者：劉早起

前兩天，有一位讀者在知識星球提出了一個關于 pandas 數據清洗的問題。

如何利用 <a href='/map/pandas/' style='color:#000;font-size:inherit;'>pandas</a> 根據<a href='/map/shujuleixing/' style='color:#000;font-size:inherit;'>數據類型</a>進行篩選？

他的數據大致如下

如何利用 <a href='/map/pandas/' style='color:#000;font-size:inherit;'>pandas</a> 根據<a href='/map/shujuleixing/' style='color:#000;font-size:inherit;'>數據類型</a>進行篩選？

現在希望分別做如下清洗

“A列中非字符行B列中非日期行C列中數值形式行(包括科學計數法的數值）D列中非整數行刪掉C列中大小在10%-90%范圍之外的行”

其實本質上都是「數據篩選」的問題，先來模擬下數據

如何利用 <a href='/map/pandas/' style='color:#000;font-size:inherit;'>pandas</a> 根據<a href='/map/shujuleixing/' style='color:#000;font-size:inherit;'>數據類型</a>進行篩選？

如上圖所示，基本上都是根據數據類型進行數據篩選，下面逐個解決。

取出所有非整數類型

讓我們從第 4 題開始，取出 D 列全部非整數行，其實在 pandas 中可以使用.is_integer() 判斷一個元素是否為整數。

這樣我們就能結合 apply 函數找到全部整數行

如何利用 <a href='/map/pandas/' style='color:#000;font-size:inherit;'>pandas</a> 根據<a href='/map/shujuleixing/' style='color:#000;font-size:inherit;'>數據類型</a>進行篩選？

再使用 ~ 取其補集即可得到答案 

df[~df[['D']].apply(lambda x: x[0].is_integer(), axis=1)]

取出所有數值類型

第 3 題要求取出 C 列所有數值形式的行。

在 pandas 同樣有直接判斷的函數 .isdigit() 判斷是否為數值。

所以同上可以結合 apply 函數輕松搞定～ 

df[df['C'].str.isdigit().isnull()].dropna()

取出非日期行

至于第 2 題，pandas 中雖有直接判斷時間格式函數，但由于存在其他類型數據，該列為object，并不能直接判斷。

所以只要我們將該列轉換為時間格式（見習題 8-12）就會將不支持轉換的格式修改為缺失值

這樣在轉換后刪除確實值即可

如何利用 <a href='/map/pandas/' style='color:#000;font-size:inherit;'>pandas</a> 根據<a href='/map/shujuleixing/' style='color:#000;font-size:inherit;'>數據類型</a>進行篩選？

取出非字符行

至于第 1 題，我們可以借助 Python 中 isinstance 函數判斷一個變量是否為字符串格式

再同樣借助 apply 函數即可找到全部字符串的行，然后使用 ～ 取其補集即可

如何利用 <a href='/map/pandas/' style='color:#000;font-size:inherit;'>pandas</a> 根據<a href='/map/shujuleixing/' style='color:#000;font-size:inherit;'>數據類型</a>進行篩選？

自定義異常值范圍

最后是一個看上去是異常值處理的問題，但本質上還是數據篩選。

直接計算該列的指定范圍，并多條件篩選即可。

如何利用 <a href='/map/pandas/' style='color:#000;font-size:inherit;'>pandas</a> 根據<a href='/map/shujuleixing/' style='color:#000;font-size:inherit;'>數據類型</a>進行篩選？

至此我們就成功利用 pandas 根據 數據類型 進行篩選值。


CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

pandas 數據類型 數據篩選 異常值 缺失值 異常值處理 數據清洗

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇反了！居然讓我教她自動化測試
下一篇國務院國資委：關于加快推進國有企業數字化轉型工作的通知
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢