熱線電話:13121318867

登錄
首頁精彩閱讀深度學習如何改進(二)
深度學習如何改進(二)
2019-02-20
收藏


我們在上一篇文章中給大家介紹了關于深度學習中的前饋神經網絡的相關知識,而前饋神經網絡神經網絡中最樸素的一個內容,這是因為前饋神經網絡的知識是比較簡單的。而我們在上一篇文章中給大家提到了一個方法,那就是梯度下降法,在這篇文章中我們就給大家介紹一下這些知識。


首先,梯度下降法就是求出所需參數的極值,使損失最小化。當然,在求取參數的過程中,無論是取任何值,難以避免產生的是一個誤差值,在訓練過程中,工程師們會引入一個損失函數Loss,而上述的梯度下降求取參數最優解的同時便是求出最小損失函數的過程。


而在訓練的過程中,有兩個主要環節,一個是訓練集訓練,另一個是驗證集測試。從名字我們可以看出來,訓練集訓練是搭建最合適模型所需,驗證集測試是檢驗所搭建模型是否合適使用。而在檢驗的過程中,可能會出現過擬合問題,深度學習中高維的分類器,可能使模型過度擬合,降低模型的準確性——驗證集驗證過程中會基于Loss損失函數和準確率來判斷是否在較優的準確度。當然,模型搭建完以后,并不是萬事大吉了,在搭建模型完成后,還有第三步,就是用測試集,檢驗搭建模型的效用。


一個基礎神經網絡的流程框架會在訓練處理中引入的比較核心的思維。在學習深度學習的過程中,我們會很容易發現,基于上述提到的最基礎的神經網絡結構,開發者們是一一針對工程實踐時,遇到的瓶頸,找到相應的解決辦法。而這些辦法,慢慢建立成為新的落地模型。所以,我們是可以基于最簡單網絡模型,再進一步了解這些更新的神經網絡模型的特性和屬性的,而這些模型,既可以解決最基本神經網絡無法突破的部分問題,同時,也面臨著其他具體的局限。那么局限是什么呢?在卷積神經網絡中比較明顯,在和之前的相比,神經元可響應一部分覆蓋范圍的周圍單元、通關權值共享的方式使得下一層工作量大大較少。


從這篇文章中我們不難發現梯度下降法是一個十分重要的內容,而梯度下降法在神經網絡機器學習中都是十分常見的,在后面的文章中我們繼續為大家介紹一下這些內容。

數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢