機器學習故事匯-決策樹算法

【咱們的目標】系列算法講解旨在用最簡單易懂的故事情節幫助大家掌握晦澀無趣的機器學習，適合對數學很頭疼的同學們，小板凳走起！

決策樹模型是機器學習中最經典的算法之一啦，用途之廣泛我就不多吹啦，其實很多機器學習算法都是以樹模型為基礎的，比如隨機森林,Xgboost等一聽起來就是很牛逼的算法（其實用起來也很牛逼）。

首先我們來看一下在上面的例子中我想根據人的年齡和性別（兩個特征）對5個人（樣本數據）進行決策，看看他們喜不喜歡玩電腦游戲。首先根據年齡（根節點）進行了一次分支決策，又對左節點根據性別進行了一次分支決策，這樣所有的樣本都落到了最終的葉子節點，可以把每一個葉子節點當成我們最終的決策結果（比如Y代表喜歡玩游戲，N代表不喜歡玩游戲）。這樣我們就通過決策樹完成了非常簡單的分類任務！

再來看一下樹的組成，主要結構有根節點（數據來了之后首先進行判斷的特征），非葉子節點（中間的一系列過程），葉子節點（最終的結果），這些都是我們要建立的模塊！

在決策中樹中，我們剛才的喜歡玩電腦游戲的任務看起來很簡單嘛，從上往下去走不就OK了嗎！但是難點在于我們該如何構造這棵決策樹（節點的選擇以及切分），這個看起來就有些難了，因為當我們手里的數據特征比較多的時候就該猶豫了，到底拿誰當成是根節點呢？

這個就是我們最主要的問題啦，節點究竟該怎么選呢？不同的位置又有什么影響？怎么對特征進行切分呢？一些到這，我突然想起來一個段子，咱們來樂呵樂呵！

武林外傳中這個段子夠我笑一年的，其實咱們在推導機器學習算法的時候，也需要這么去想想，只有每一步都是有意義的我們才會選擇去使用它?；貧w正題，我們選擇的根節點其實意味著它的重要程度是最大的，相當于大當家了，因為它會對數據進行第一次切分，我們需要把最重要的用在最關鍵的位置，在決策樹算法中，為了使得算法能夠高效的進行，那么一開始就應當使用最有價值的特征。

接下來咱們就得嘮嘮如何選擇大當家了，我們提出了一個概念叫做熵（不是我提出的。。。穿山甲說的），這里并不打算說的那么復雜，一句話解釋一下，熵代表你經過一次分支之后分類的效果的好壞，如果一次分支決策后都屬于一個類別（理想情況下，也是我們的目標）這時候我們認為效果很好嘛，那熵值就很低。如果分支決策后效果很差，什么類別都有，那么熵值就會很高，公式已經給出，log函數推薦大家自己畫一下，然后看看概率[0,1]上的時候log函數值的大?。銜砣婚_朗的）。

不確定性什么時候最大呢？模棱兩可的的時候（就是你猶豫不決的時候）這個時候熵是最大的，因為什么類別出現的可能性都有。那么我們該怎么選大當家呢？（根節點的特征）當然是希望經過大當家決策后，熵值能夠下降（意味著類別更純凈了，不那么混亂了）。在這里我們提出了一個詞叫做信息增益（就當是我提出的吧。。。），信息增益表示經過一次決策后整個分類后的數據的熵值下降的大小，我們希望下降越多越好，理想情況下最純凈的熵是等于零的。

一個栗子：準備一天一個哥們打球的時候，包括了4個特征（都是環境因素）以及他最終有木有去打球的數據。

第一個問題：大當家該怎么選？也就是我們的根節點用哪個特征呢？

一共有4個特征，看起來好像用誰都可以呀，這個時候就該比試比試了，看看誰的能力強（使得熵值能夠下降的最多）

在歷史數據中，首先我們可以算出來當前的熵值，計算公式同上等于0.940，大當家的競選我們逐一來分析，先看outlook這個特征，上圖給出了基于天氣的劃分之后的熵值，計算方式依舊同上，比如outlook=sunny時，yes有2個,no有三個這個時候熵就直接將2/5和3/5帶入公式就好啦。最終算出來了3種情況下的熵值。

再繼續來看！outlook取不同情況的概率也是不一樣的，這個是可以計算出來的相當于先驗概率了，直接可以統計出來的，這個也需要考慮進來的。然后outlook競選大當家的分值就出來啦（就是信息增益）等于0.247。同樣的方法其余3個特征的信息增益照樣都可以計算出來，誰的信息增益多我們就認為誰是我們的大當家，這樣就完成了根節點的選擇，接下來二當家以此類推就可以了！

我們剛才給大家講解的是經典的ID3算法，基于熵值來構造決策樹，現在已經有很多改進，比如信息增益率和CART樹。簡單來說一下信息增益率吧，我們再來考慮另外一個因素，如果把數據的樣本編號當成一個特征，那么這個特征必然會使得所有數據完全分的開，因為一個樣本只對應于一個ID，這樣的熵值都是等于零的，所以為了解決這類特征引入了信息增益率，不光要考慮信息增益還要考慮特征自身的熵值。說白了就是用 信息增益/自身的熵值 來當做信息增益率。

我們剛才討論的例子中使用的是離散型的數據，那連續值的數據咋辦呢？通常我們都用二分法來逐一遍歷來找到最合適的切分點！

下面再來嘮一嘮決策樹中的剪枝任務，為啥要剪枝呢？樹不是好好的嗎，剪個毛線??！這個就是機器學習中老生常談的一個問題了，過擬合的風險，說白了就是如果一個樹足夠龐大，那么所有葉子節點可能只是一個數據點（無限制的切分下去），這樣會使得我們的模型泛化能力很差，在測試集上沒辦法表現出應有的水平，所以我們要限制決策樹的大小，不能讓枝葉太龐大了。

最常用的剪枝策略有兩種：
（1）預剪枝：邊建立決策樹邊開始剪枝的操作
（2）后剪枝：建立完之后根據一定的策略來修建

這些就是我們的決策樹算法啦，其實還蠻好的理解的，從上到下基于一種選擇標準（熵，GINI系數）來找到最合適的當家的就可以啦！