熱線電話:13121318867

登錄
首頁精彩閱讀深度學習入門課程學習筆記04 softmax分類器
深度學習入門課程學習筆記04 softmax分類器
2018-04-03
收藏

深度學習入門課程學習筆記04 softmax分類器

前向傳播之-softmax

softmax:這個分類器可以說是咱們深度學習領域最常見的一個分類器了,如果大家對邏輯回歸有基礎的話那么這個softmax分類器可以當成一個多分類的邏輯回歸。

sigmoid:上圖就是咱們這個sigmoid函數了,這個函數很重要無論在softmax還是在咱們之后會講到的激活函數上,所以咱們先來看看這個函數是干什么用的,首先咱們先來看它的自變量X得到取值范圍,可以看到咱們的X可以取正無窮到負無窮的一切實數,那么對應的Y也就是值域的范圍是從0到1的。那么對于一個任意的輸入X1我們都可以得到一個對應的值Y1,這個Y1是在0到1之間的一個數,也就是我們可以把所有的值都壓縮到0到1這個區間內,結合咱們之前的得分函數,一個輸入對于每一個類別的得分X,我們都可以把這個得分映射到[0,1]區間內,也就是把我們的得分數值轉成了相應的概率值。

softmax-loss計算:這一系列的公式其實就告訴了咱們一件事咱們這個分類器最終的LOSS值是如何計算出來的,首先咱們對應于一個輸入計算出了它屬于每一個類別的得分數值,然后再用上面講的sigmoid函數把所有的得分數值映射成一個概率值,有了概率值之后loss的計算就是對最終正確分類所占的概率求一個LOG值再取負號就OK了。

動手算:咱們現在就來動手算一下這個LOSS值是什么計算的,首先對每個得分數值計算其指數次冪,然后對于得到的所有值再做一個歸一化的操作,最后把正確分類的那個概率值帶到LOSS計算公式中就性啦。

SVM和SOFTMA對比:從圖中可以到最明顯的區別就是LOSS值的計算方式,SVM是計算的分值的一個差值情況,SOFTMAX看的則是分類的準確率。這里就不詳細推導他們優缺點了,可以告訴大家的是SOFTMAX對錯誤的分類敏感程度更高,其實SOFTMAX是一個永不滿足的分類器,它的LOSS始終存在的,感興趣的同學可以自己算一算LOSS的流程就知道了,所以在深度學習領域我們使用的更多的是SOFTMAX分類器。

數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢