熱線電話:13121318867

登錄
首頁精彩閱讀弱分類器的強勢體:邏輯回歸算法與推導
弱分類器的強勢體:邏輯回歸算法與推導
2018-08-06
收藏

弱分類器的強勢體:邏輯回歸算法與推導

邏輯回歸的函數表達式為 

用極大似然估計求解

每個樣本發生的后驗概率為

則所以樣本發生總概率即似然函數為

L(θ)即為目標函數,-L(θ)即為loss函數,求-L(θ)最小

對數L(θ)函數為

對θ求導,即

無法求解。

用梯度下降法逼近最佳值,這里用的是梯度上升法,因為要求L(θ)最大值,其實道理一樣。


整體梯度上升算法:

初始化wT=1

重復直至收斂:

計算整體梯度(?l(θ)/?θ)

根據θ+α*(?l(θ)/?θ)來更新回歸系數wT

隨機梯度上升算法:

初始化wT=1

重復直至收斂:

計算隨機每個樣本梯度(?l(θ)/?θ)

根據θ+α*(?l(θ)/?θ)來更新回歸系數wT

邏輯回歸的優點是實現簡單,分類快。缺點是容易欠擬合,只能處理二分類問題(加上softmax優化可用于多分類),但是必須是線性可分的數據。


數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢