邏輯回歸與決策樹在分類上的區別

在討論之前，讓我們來看一下邏輯回歸和決策樹的主要差別：

有些分歧是表面的，例如決策樹可以對付缺失值，而邏輯回歸需要挖掘人員預先對缺失數據進行處理。但實際上決策樹同樣要對缺失值做出某種假設和處理。例如CART在遇到一個變量中有缺失情況時，是用次級變量進行替換切分。這種做法在邏輯回歸中也可以辦到，但需要單獨的編程。而在決策樹中，這一步已經嵌入軟件的算法引擎。

從實質上看，決策樹和邏輯回歸的分歧是：

1．邏輯回歸對數據整體結構的分析優于決策樹，而決策樹對局部結構的分析優于邏輯回歸。

2．邏輯回歸擅長分析線性關系，而決策樹對線性關系的把握較差。雖然對付非線性關系是決策樹的強項，但是很多非線性關系完全可以用線性關系作為近似，而且效果很好。線性關系在實踐中有很多優點：簡潔，易理解，可以在一定程度上防止對數據的過度擬合。

3．邏輯回歸對極值比較敏感，容易受極端值的影響，而決策樹在這方面表現較好。

兩者的差別主要來自算法邏輯。決策樹由于采用分割的方法，所以能夠深入數據細部，但同時失去了對全局的把握。一個分層一旦形成，它和別的層面或節點的關系就被切斷了，以后的挖掘只能在局部中進行。同時由于切分，樣本數量不斷萎縮，所以無法支持對多變量的同時檢驗。而邏輯回歸，始終著眼整個數據的擬合，所以對全局把握較好。但無法兼顧局部數據，或者說缺乏探查局部結構的內在機制。

除外，邏輯回歸和決策樹還有一些應用上的區別。決策樹的結果和邏輯回歸相比略顯粗糙。邏輯回歸原則上可以提供數據中每個觀察點的概率，而決策樹只能把挖掘對象分為有限的概率組群。比如決策樹確定17個節點，全部人口就只能有17個概率，在應用上受到一定限制。就操作來說，決策樹比較容易上手，需要的數據預處理較少，而邏輯回歸則要求一定的訓練和技巧。

對于兩者間互補或增強，主要思路是利用決策樹對局部數據結構優越的把握能力增加邏輯回歸的效力。在具體做法上有幾種，一種是從決策樹分析中找出數據局部結構，作為在邏輯回歸中構建依變量（interaction)的依據。另一種是在需要對預測因子進行離散化處理時，利用決策樹分析決定最佳切分點。還有一種是把決策樹分類的最終結果作為預測變量，和其他協變量一起代入回歸模型，又稱為“嫁接式模型”。從理論上講，嫁接模型綜合了決策樹和邏輯回歸的優點。最終節點包含了數據中重要的局部結構，而協變量可以拾補被決策樹遺漏的數據整體結構。

嫁接模型是一個很巧妙的設計，但是在實踐中并沒有得到普遍的認同。由于決策樹已經對數據進行了最大限度的擬合，所以留給協變量的余地很小。換句話說，把決策樹的最終節點作為預測因子，就可能找不出還有獨立作用的協變量。而沒有協變量，邏輯回歸實際只是決策樹的重復。再有，由于節點是多個屬性的綜合，不易解釋。每個節點到底代表什么不明確，由此限制了這種方法的推廣。