熱線電話:13121318867

登錄
首頁大數據時代梯度提升決策樹到底是一種怎樣的算法?
梯度提升決策樹到底是一種怎樣的算法?
2020-07-09
收藏

梯度提升決策樹(GBDT),全稱為Gradient Boosting Decision Tree,是一種迭代的決策樹算法,由多棵決策樹組成,將所有樹的結論累加起來,產出最終答案。

這也就意味著在GBDT中,CART決策樹為基學習器,也就是每一次用CART決策樹去擬合各個樣本的偽殘差。梯度提升決策樹GBDT通過多輪迭代,每輪迭代產生一個弱分類器,每個分類器在上一輪分類器的殘差基礎上進行訓練。對弱分類器的要求一般是足夠簡單,并且是低方差和高偏差的。

弱分類器一般會選擇為CART TREE(也就是分類回歸樹)。由于上述高偏差和簡單的要求 每個分類回歸樹的深度不會很深。最終的總分類器 是將每輪訓練得到的弱分類器加權求和得到的(也就是加法模型)。

梯度提升決策樹GBDT算法原理

(1)初始化弱學習器

(2)對m=1.2....,Mm=1.2....,M有:

數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢