決策樹、邏輯回歸、線性回歸使用時注意事項以及模型過擬合策略

 決策樹缺點和注意事項：
    決策樹的最大缺點是原理中的貪心算法。因此它所做的選擇只能是某種意義上的局部最優選擇。
    若目標變量是連續變量，那么決策樹就不使用了，改用回歸模型
    若某些自變量的類別種類較多，或者自變量是區間型時，決策樹過擬合的危險會增大。這種情況需要分箱或多次模型驗證，確保其具有穩定性。

    對區間型變量進行分箱操作時，無論是否考慮了順序因素，都有可能因為分箱喪失了某些重要信息，尤其是當分箱前的區間型便變量與目標變量有明顯的線性關系時，這種分箱造成的損失更為明顯。

邏輯回歸（目標變量是二元變量）
    建模數據量不能太少，目標變量中每個類別所對應的樣本數量要足夠充分，才能支持建模
    排除共線性問題（自變量間相關性很大）
    異常值會給模型帶來很大干擾，要剔除。
    邏輯回歸不能處理缺失值，所以之前應對缺失值進行適當處理。

線性回歸缺點和注意事項
    對異常值敏感，應剔除。
    只適合處理線性關系，若自變量和因變量間有比較強的非線性關系，應該對自變量進行一定的轉換，比如取對數、開方、取平方根等。
    多元線性回歸應用有一定的前提假設，自變量是確定的變量，而不是隨機變量，自變量間沒有線性相關，隨機誤差呈正太分布，隨機誤差項具有均值為0以及等方差性。

線性回歸和邏輯回歸的區別
    線性回歸針對的目標變量是區間型的，邏輯回歸針對的目標變量是類別型的
    線性回歸模型的目標變量和自變量之間的關系假設是線性相關的，邏輯回歸模型中的目標變量和自變量是非線性的
    線性回歸中通常會用假設，對應于自變量x的某個值，目標變量y的觀察值是服從正太分布的。邏輯回歸中目標變量y是服從二項分布0和1或者多項分布的
    邏輯回歸中不存在線性回歸中常見的殘差
    參數估值上，線性回歸采用最小平方法，邏輯回歸采用最大似染法。

過擬合產生原因：
    樣本里噪聲數據干擾過大。樣本噪聲大到模型過分記住了噪聲特征，反而忽略了真實的輸入輸出間的關系。
    建模時的邏輯假設應用到模型時不成立了。任何預測模型都是在假設的基礎上才可以使用的，比如業務環節沒有發生顯著變化，數據符合某種分布等，如果上述假設違反了業務場景，那么該模型就不能用了。
    建模時使用了太多輸入變量。同噪聲數據相似，不分析數據特征，把所有的變量交給機器去處理，撞大運，一個穩定優良的模型一定要遵循輸入變量的少而精的原則。
    若用決策樹，沒有對決策樹的生長進行合理的限制和剪枝，由著決策樹自己生長，可能會過分擬合原始數據，對新數據一塌糊涂。
    建模樣本抽取錯誤。包括但不限于樣本數量少，抽樣方法錯誤，抽樣時沒有足夠正確的考慮業務場景和特點，以致于抽出的樣本數據不能足夠有效的代表業務邏輯和業務場景。

放置過擬合的手段：
    合理有效抽樣，包括分層抽樣，過抽樣等，從而用不同的樣本去檢驗模型。
    交叉檢驗，這是目前業界防止過擬合常用手段。
    數據若太少，不要用神經網絡模型（深度學習），否則是淺度學習，而且一定要實現篩選輸入變量，不要把所有變量一股腦放進去。