熱線電話:13121318867

登錄
首頁精彩閱讀機器學習實現與分析之四(廣義線性模型)
機器學習實現與分析之四(廣義線性模型)
2017-03-15
收藏

機器學習實現與分析之四(廣義線性模型)

指數分布族


首先需要提及下指數分布族,它是指一系列的分布,只要其概率密度函數可以寫成下面這樣的形式:

一般的很多分布(如高斯分布,泊松分布,二項式分布,伽馬分布等)都屬于指數分布族。


廣義線性模型構建假設


廣義線性模型主要基于以下假設:

1.的分布屬于指數分布族

2.預測值為,因此模型就是

3.模型線性性,即


線性回歸邏輯回歸模型推導


線性回歸中,假設服從高斯分布,則將其寫成指數分布族形式如下:

注意這里ηη和T(y)T(y)可以有多種取法滿足上面這個式子,但根據上面假設的第二條,由于我們需要預測的是yy,則T(y)=yT(y)=y,從而就有

從而:

這里σ2σ2是一個常數,則上式可寫為:

此即為線性回歸中使用的線性模型的來源。同理,對于邏輯回歸,有

由此可得:

故而有

此即為邏輯回歸使用的模型。

同理,對于其他分布,我們也可以寫出對應的回歸模型。上面給出了線性回歸邏輯回歸的模型,通過最大似然估計與梯度下降法,即可求出參數。


問題與思考


1.構建GLM的三條假設,其中假設一在此模型構建中起了什么作用,目前還未理解。假如分布不屬于指數分布族,那是否也可以構建其他形式的線性模型?有理解的同學望不吝賜教。

2.假設三即是模型的線性假設,這也能說明了邏輯回歸只能處理線性可分情況。


數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢