提到噪聲，你會想到什么?刺耳的，高分貝的聲音?總之就是不好的，不想接受的聲音。小編今天跟大家分享的就是python數據清洗中的噪聲數據，對于這些噪聲數據我們應該怎樣檢測和處理呢?下面跟小編一起來看吧。

一、什么是噪聲數據

噪聲數據Noisy Data，噪聲值，指的是數據中存在著一個或中者幾個錯誤的，或者偏離期望值的數據，又可以叫做異常值、或者離群值(outlier)，這些數據會對數據的分析造成了干擾，我們需要在python數據清洗時將這些數據清洗掉。

舉一個最簡單的例子來理解噪聲數據，在一份統計顧客年齡的名單中，有數據為顧客年齡：-50.顯然這個數據就是噪聲數據。

二、噪聲數據檢測

噪聲數據的檢測方法有很多，小編這這里介紹三種最常用的方法。

1.3?原則

數據需要服從正態分布。若一個數據分布近似正態，則大約 68% 的數據值會在均值的一個標準差范圍內，大約 95% 會在兩個標準差范圍內，大約 99.7% 會在三個標準差范圍內。在3?原則下，異常值如超過3倍標準差，那么可以將其視為異常值。如果數據不服從正態分布，我們就可以通過遠離平均距離多少倍的標準差來判定(多少倍的取值需要根據經驗和實際情況來決定)。

2.箱線圖是通過數據集的四分位數形成的圖形化描述。是非常簡單而且效的可視化離群點的一種方法。上下須為數據分布的邊界，只要是高于上須，或者是低于下觸須的數據點都可以認為是離群點或異常值。

下四分位數：25%分位點所對應的值(Q1)

中位數：50%分位點對應的值(Q2)

上四分位數：75%分位點所對應的值(Q3)

上須：Q3+1.5(Q3-Q1)

下須：Q1-1.5(Q3-Q1)

其中Q3-Q1表示四分位差

3.k-means

k-means是基于聚類的離群點識別方法，其主要思想是一個對象是基于聚類的離群點，如果該對象不強屬于任何簇，那么該對象屬于離群點。

三、噪聲數據處理

噪聲數據最直接簡單的方法是：找到這些孤立于其他數據的記錄直接刪除。但是這樣做有很大的缺點，很可能會都是大量有用、干凈的信息。小編在這里整理了幾種python數據清洗時常用的噪聲數據處理方法，希望對大家有所幫助。

1.分箱

分箱法通過考察數據的“近鄰”來光滑有序數據的值。有序值分布到一些桶或箱中。

分箱法包括等深分箱：每個分箱中的樣本量一致;等寬分箱：每個分箱中的取值范圍一致。直方圖其實首先對數據進行了等寬分箱，再計算頻數畫圖。

分箱方法是一種簡單而且常用的python數據清洗方法，通過考察近鄰數據來確定最終值?！胺窒洹逼鋵嵰簿褪侵赴凑諏傩灾祫澐值淖訁^間，一個屬性值如果處于某個子區間范圍內，就當做把該屬性值放進這個子區間所代表的“箱子”內。按照一定的規則將待處理的數據(某列屬性值)放進一些箱子中，考察每個箱子里的數據，并且采用某種方法對各個箱子中的數據分別進行處理。采用分箱技術的兩個關鍵問題是：(1)如何分箱(2)如何對每個箱子中的數據進行平滑處理。

分箱的方法通常有4種，分別為：等深分箱法、等寬分箱法、最小熵法和用戶自定義區間法。

(1)等深分箱法，又叫做統一權重，是指將數據集按記錄行數分箱，每箱樣本量一致。最簡單的一種分箱方法。

(2)等寬分箱法，統一區間，使數據集在整個屬性值的區間上平均分布，也就是每個分箱中的取值范圍一致。

(3)用戶自定義區間，用戶可以根據實際情況自定義區間，使用這種方法能幫助當用戶明確觀察到某些區間范圍內的數據分布。

2.回歸

發現兩個相關的變量之間的變化模式，通過使數據適合一個函數來平滑數據。

若是變量之間存在依賴關系，也就是y=f(x)，那么就可以設法求出依賴關系f，再根據x來預測y，這也是回歸問題的實質。實際問題中更常為見的假設是p(y)=N(f(x))，N為正態分布。假設y是觀測值并且存在噪聲數據，根據我們求出的x和y之間的依賴關系，再根據x來更新y的值，這樣就能去除其中的隨機噪聲，這就是回歸去噪的原理  。

相信讀完上文，你對隨機森林算法已經有了全面認識。若想進一步探索機器學習的前沿知識，強烈推薦機器學習之半監督學習課程。

學習入口：https://edu.cda.cn/goods/show/3826?targetId=6730&preview=0
涵蓋核心算法，結合多領域實戰案例，還會持續更新，無論是新手入門還是高手進階都很合適。趕緊點擊鏈接開啟學習吧！