邏輯斯諦回歸&最大熵模型

邏輯斯諦回歸和最大熵模型，從原理上看二者并不十分相關，不知是不是因為篇幅都相對較小，所以將這兩部分內容放到一起。本文還是從原理、應用場景以及優缺點來做簡要介紹。

1、邏輯斯諦回歸

邏輯斯諦回歸通過結合線性回歸和Sigmod轉換函數（f(x)=1/(1+exp(x))），將數值預測結果轉換為不同類別的條件概率，取條件概率最大的類別為預測結果，從而實現樣本的分類。

該模型可應用于各種分類場景。相比于其它分類算法，其最大的特點在于可以為預測的結果提供相應的概率值，即可以直觀的分析每個樣本分類結果的確信程度。

2、最大熵模型

最大熵模型是指：在所有滿足約束條件的概率模型集合中，熵最大的模型是最好的；可以證明，在沒有其它約束條件時，均勻分布模型是最大熵模型。

例如：P(A)+P(B)=1，按照最大熵模型得到P(A)=P(B)=0.5，也就是均勻分布。

可以從物理學的角度來理解該模型：根據熱力學第二定理，如果沒有外力干擾，系統的熵值是趨于不斷增加的。由此，在沒有其它額外參考信息的情況下，選擇熵值最大的模型是最可靠的，因為沒有外在動力時，宇宙本來就是趨于無序的。

延伸：和決策樹模型的比對分析

粗看起來，上述模型似乎與在決策樹中選用熵增最大的特征參量有點兒矛盾。因為熵增（即信息增益）最大，即意味著要得到熵最小的模型。

先明確一點：兩個模型中關于熵的定義完全一樣，均用來表征模型的有序程度。熵值越大，越是無序。但兩個模型其實并不矛盾，理由如下：

1）二者應用的前提不同。對于最大熵模型而言，在所有滿足約束條件的模型中，如果沒有其他的參考信息，則選用熵最大的模型；而決策樹模型中，由于提供了特征參量這樣的額外參考信息，因此不能直接應用最大熵原理。

2）決策樹并沒有使用最小熵模型。我們都知道，完全生長決策樹的熵是最小的，然而卻常常不是最好的模型（容易“過擬合”），經過剪枝后的決策樹反而能夠反映真實數據分布。如果說樹的分裂意味著熵的減小，則剪枝意味著熵的增加；這樣看來，我們選擇的其實是應用了所有已知信息之后熵較大的模型。

3、梯度下降和牛頓法

關鍵的，二者主要的不同在于：梯度下降采用平面去逼近最優解（要求函數一階可導），牛頓法采用曲面去逼近（要求函數二階可導），牛頓迭代法一般收斂的速度要快一些。

與梯度下降法（gradientdecend）對應的，還有梯度上升法（gradient boost）；它們的原理相同，梯度下降常用來求最小值，梯度上升用來求最大值。我們在處理分類問題時，常常將其轉換為損失函數最小化的問題，因此梯度下降更為常用。