在python數據清洗過程中，我們經常會遇到一些偏離正常范圍的數據，例如人的體重為56噸，這些數據叫做異常值，如果不做異常值處理，會對我們最終的數據分析造成影響。小編今天給大家帶來了一種很實用的異常值處理方法—3σ原則，希望對大家有所幫助。
一、哪些數據是異常值
異常值，指的是數據集中存在不合理的值，又叫做離群點。異常值處理就是要將這些離群點找出來，然后進行分析，并確定如何處理，采用何種方式處理。
二、異常值出現原因
1.傳感器故障
2.數據錄入錯誤
3.異常事件
三、3σ原則異常值處理
1.正態分布
數據服從正態分布。正態分布，又叫做高斯分布。特征為中間高兩邊低左右對稱。
正態分布特性：
1)集中性：曲線的最高峰位于正中央，并且位置為均數所在的位置。
2)對稱性：以均數所在的位置為中心呈左右對稱，并且曲線兩段無限趨近于橫軸。
3)均勻變動性：正態分布曲線以均數所在的位置為中心均勻向左右兩側下降。
正態分布函數公式如下：
2.3σ原則
3σ原則是建立在正態分布的等精度重復測量基礎上而造成奇異數據的干擾或噪聲難以滿足正態分布。如果一組測量數據中的某個測量值的殘余誤差的絕對值 νi>3σ,則該測量值為壞值,應剔除.通常把等于 ±3σ的誤差作為極限誤差,對于正態分布的隨機誤差,落在 ±3σ以外的概率只有 0.27%,它在有限次測量中發生的可能性很小,故存在3σ準則.3σ準則是最常用也是最簡單的粗大誤差判別準則,它一般應用于測量次數充分多( n ≥30)或當 n>10做粗略判別時的情況.
σ代表標準差,μ代表均值
樣本數據服從正態分布的情況下
數值分布在(μ-σ,μ+σ)中的概率為0.6826
數值分布在(μ-2σ,μ+2σ)中的概率為0.9544
數值分布在(μ-3σ,μ+3σ)中的概率為0.9974
可以認為，Y 的取值幾乎全部集中在（μ-3σ,μ+3σ)區間內，超出這個范圍的可能性僅占不到0.3%。
3.python實現
#用numpy隨機生成100個服從正態分布的隨機數
num=np.random.randn(100)
#隨機插入兩個異常值進去，此時num.shape[0]==102
np.apend(num,[10,20])
#設定法則的左右邊界
left=num.mean()-3*num.std()
right=num.mean()+3*num.std()
#獲取在范圍內的數據
new_num=num[(left異常值<="" pre="">
推薦學習書籍
《CDA一級教材》適合CDA一級考生備考，也適合業務及數據分析崗位的從業者提升自我。完整電子版已上線CDA網校，累計已有10萬+在讀~
免費加入閱讀：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0
CDA數據分析師考試相關入口一覽（建議收藏）：
? 想報名CDA認證考試，點擊>>>
“CDA報名”
了解CDA考試詳情；
? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；
? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；
? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；
京公網安備 11010802034615號
經營許可證編號：京B2-20210330
