機器學習故事匯-邏輯回歸算法

今天我們要來討論的一個分類算法-邏輯回歸（你有沒有搞錯，這不還是回歸嗎，雖然名字帶上了回歸其實它是一個非常實用的分類算法）。，適合對數學很頭疼的同學們，小板凳走起！

先來吹一吹邏輯回歸的應用，基本上所有的機器學習分類問題都可以使用邏輯回歸來求解，當前拿到一份數據想做一個分類任務的時候第一手準備一定要拿邏輯回歸來嘗試（雖然有很多復雜的模型比如神經網絡，支持向量機的名氣更大，但是邏輯回歸卻更接地氣，用的最多的還是它）！在機器學習中無論是算法的推導還是實際的應用一直有這樣的一種思想，如果一個問題能用簡單的算法去解決那么絕對沒必要去套用復雜的模型。

在邏輯回歸中最核心的概念就是Sigmoid函數了，首先我們先來觀察一下它的自變量取值范圍以及值域，自變量可以是任何實數（這沒啥特別的?。┑俏覀冇^察值域的范圍是[0,1]也就是任意的一個輸入都會映射到[0,1]的區間上，我們來想一想這個區間有什么特別的含義嗎？在我們做分類任務的時候一般我都都會認為一個數據來了它要么是0要么是1（只考慮二分類問題），我們其實可以更細致一點得出來它是0或者1的可能性有多大，由此我們就得出了一個輸入屬于某一個類別的概率值，這個[0,1]不就恰好是這個概率嗎！

在這里我們的預測函數還是跟線性回歸沒有多大差別，只不過我們將結果又輸入到Sigmoid函數中，這樣得到了數據屬于類別的概率值。在推導過程中，我們假定分類是兩個類別的（邏輯回歸是經典的而分類器）。設定y（標簽）要么取0要么取1，這樣就可以把兩個類別進行整合，得到一個更直觀的表達。

對于邏輯回歸的求解，已然沿用我們上次跟大家討論的梯度下降算法。給出似然函數，轉換對數似然（跟線性回歸一致），但是我們現在的優化目標卻跟之前不太一樣了，線性回歸的時候我們要求解的是最小值（最小二乘法），但是現在我們想得到的卻是使得該事件發生得最大值，為了沿用梯度下降來求解，可以做一個簡單的轉換添加一個負號以及一個常數很簡單的兩步就可以把原始問題依然轉換成梯度下降可以求解的問題。

此處求導過程看起來有些長，但也都是非常非?；镜倪\算了，感興趣拿起一支筆來實際算算吧！

最終就是參數更新了，迭代更新是機器學習的常規套路了。但是我們來簡單想一想另外的一個問題，現在我們說的邏輯回歸是一個二分類算法，那如果我的實際問題是一個多分類該怎么辦呢？這個時候就需要Softmax啦，引入了歸一化機制，來將得分值映射成概率值。

最后一句話總結一下吧，任何時候（沒錯就是這么狠）當我們一個實際任務來了，第一個算法就是邏輯回歸啦，可以把它當成我們的基礎模型，然后不斷改進對比！