熱線電話：13121318867

登錄
首頁大數據時代決策樹剪枝，常用這2種方法
決策樹剪枝，常用這2種方法
2020-07-09
收藏

前面我們了解了決策樹的概念，現在來了解一下決策樹剪枝?？赡軙腥藛枺簽槭裁匆糁?答案是：如果一棵決策樹完全生長，那么這棵決策樹所對應的每一個葉節點中只會包含一個樣本，就很有可能面臨過擬合問題，因此就需要我們對這棵決策樹進行剪枝，以此來提高此決策樹模型的泛化能力。

一般情況下，可以使用以下兩類方法對決策樹進行剪枝，縮小決策樹的規模:

一、預剪枝：

預剪枝的核心思想是在樹中節點進行擴展之前，先計算當前的劃分是否能提升模型泛化能力，如果不能，則不再繼續生長子樹。此時可能出現不同類別的樣本同時存于節點中的情況，可以通過使用多數投票的原則對該節點所屬類別進行判斷。關于預剪枝何時停止決策樹的生長，可以采用以下幾種方法：

(1) 當樹達到一定深度的時候，停止樹的生長;

(2) 當到達當前節點的樣本數量比某個閾值小的時候，停止樹的生長;

(3) 計算決策樹的每一次分裂能否提升測試集的準確度，當提升程度小于某個閾值的時候，不再繼續生樹的長。

預剪枝具有思想直接、算法簡單、效率高等一系列特點，適合解決大規模數據的問題。但是，對于上述閾值，需要一定的經驗來進行判斷。另外，預剪枝存在欠擬合風險。這是因為，雖然當前的劃分會導致測試集準確率降低或提升不高，但在之后的劃分中，準確率會有顯著提升也不無可能。

二、后剪枝：

后剪枝的核心思想是先讓算法生成一顆完全生長的決策樹，然后自底層向上計算是否進行剪枝操作。后剪枝也需要通過在測試集上的準確率來進行判斷，如果剪枝之后，能夠提升準確率，則進行剪枝。

具體操作：

1.如果存在任一子集是一棵樹，則在該子集遞歸剪枝過程

2.計算不合并的誤差

3.如果合并會降低誤差的話，就將葉節點合并

在回歸樹一般用總方差計算誤差(即用葉子節點的值減去所有葉子節點的均值)。

相比于預剪枝，后剪枝的泛化能力更強，但是計算開銷會更大。

后剪枝方法： 錯誤率降低剪枝(Reduced Error Pruning,REP)、悲觀剪枝(Pessimistic Error Pruning,PEP)、代價復雜度剪枝(Cost Complexity Pruning,CCP)、最小誤差剪枝(Minimum Error Pruning,MEP)、CVP(Critical Value Pruning)、OPP(Optimal Pruning)等。


CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

決策樹 泛化能力 欠擬合 過擬合 決策樹剪枝

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇如何快速簡單的理解決策樹的概念？
下一篇梯度提升決策樹到底是一種怎樣的算法？
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢