熱線電話：13121318867

登錄
首頁精彩閱讀數據處理：離散化好處多-數據分析師
數據處理：離散化好處多-數據分析師
2016-03-06
收藏

數據處理：離散化好處多-數據分析師

離散化指把連續型數據切分為若干“段”，也稱bin，是數據分析中常用的手段。切分的原則有等距，等頻，優化，或根據數據特點而定。在營銷數據挖掘中，離散化得到普遍采用。究其原因，有這樣幾點：

①算法需要。例如決策樹，NaiveBayes等算法本身不能直接使用連續型變量，連續型數據只有經離散處理后才能進入算法引擎。這一點在使用具體軟件時可能不明顯。因為大多數數據挖掘軟件內已經內建了離散化處理程序，所以從使用界面看，軟件可以接納任何形式的數據。但實際上，在運算決策樹或NaiveBayes模型前，軟件都要在后臺對數據先作預處理。
②離散化可以有效地克服數據中隱藏的缺陷：使模型結果更加穩定。例如，數據中的極端值是影響模型效果的一個重要因素。極端值導致模型參數過高或過低，或導致模型被虛假現象“迷惑”，把原來不存在的關系作為重要模式來學習。而離散化，尤其是等距離散，可以有效地減弱極端值和異常值的影響，
③有利于對非線性關系進行診斷和描述：對連續型數據進行離散處理后，自變量和目標變量之間的關系變得清晰化。如果兩者之間是非線性關系，可以重新定義離散后變量每段的取值，如采取0，1的形式， 由一個變量派生為多個啞變量，分別確定每段和目標變量間的聯系。這樣做，雖然減少了模型的自由度，但可以大大提高模型的靈活度。
即使在連續型自變量和目標變量之間的關系比較明確，例如可以用直線描述的情況下，對自變量進行離散處理也有若干優點。一是便于模型的解釋和使用，二是可以增加模型的區別能力。
等距:將連續型變量的取值范圍均勻劃成n等份，每份的間距相等。例如，客戶訂閱刊物的時間是一個連續型變量，可以從幾天到幾年。采取等距切分可以把1年以下的客戶劃分成一組，1-2年的客戶為一組，2-3年為一組..，以此類分，組距都是一年。
等頻:把觀察點均勻分為n等份，每份內包含的觀察點數相同。還取上面的例子，設該雜志訂戶共有5萬人，等頻分段需要先把訂戶按訂閱時間按順序排列，排列好后可以按5000人一組，把全部訂戶均勻分為十段。
等距和等頻在大多數情況下導致不同的結果。等距可以保持數據原有的分布，段落越多對數據原貌保持得越好。等頻處理則把數據變換成均勻分布，但其各段內觀察值相同這一點是等距分割作不到的。
優化離散:需要把自變量和目標變量聯系起來考察。切分點是導致目標變量出現明顯變化的折點。常用的檢驗指標有卡方，信息增益，基尼指數，或WOE(要求目標變量是兩元變量)
離散連續型數據還可以按照需要而定。比如，當營銷的重點是19-24歲的大學生消費群體時，就可以把這部分人單獨劃出。
離散化處理不免要損失一部分信息。很顯然，對連續型數據進行分段后，同一個段內的觀察點之間的差異便消失了。同時，進行了離散處理的變量有了新值。比如現在可以簡單地用1,2,3..這樣一組數字來標志雜志訂戶所處的段落。這組數字和原來的客戶訂閱雜志的時間沒有直接的聯系，也不再具備連續型數據可以運算的關系。例如，使用原來的數據，我們可以說已有兩年歷史的客戶訂閱時間是只有一年歷史客戶的兩倍，但經過離散處理后，我們只知道第2組的客戶的平均訂閱時間高于第一組客戶，但無法知道兩組客戶之間的確切差距。



CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

連續型變量 決策樹 數據挖掘 數據分析

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇圖論在大數據分析中的作用！
下一篇CDA認證再升一檔！與國家共同推進大數據人才培養標準教育事業！
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢