熱線電話：13121318867

登錄
首頁精彩閱讀深度學習入門課程學習筆記05 最優化
深度學習入門課程學習筆記05 最優化
2018-04-03
收藏

深度學習入門課程學習筆記05 最優化

前向傳播之-最優化

通過對之前課程的學習，我們已經能夠對于一個輸入數據得出它的最終的一個LOSS值，那么下面就該咱們如何去找到一個最優的參數矩陣，使得最終的LOSS值達到一個最小的范圍。這就引入了咱們的最優化問題。下面咱們通過幾種解決方案來詳細討論如何處理這個最優化的問題

首先咱們就算不經過大腦思考也能得出一種方法，我把它叫做一個簡單粗暴的想法就是咱們隨機的去找一組組的權重參數矩陣W，每一次咱們都通過整個計算流程得出這組權重計算出它的一個LOSS值，就像上面的代碼的流程一樣，最后對比找到一組還算湊合的權重參數。這個方法咋樣呢？很蠢是吧，但是也是一種辦法。下面咱們就該進入思考就行改進了！

我在這里先給大家做一個比較形象的比喻，為了尋找最優的W參數矩陣，咱們就像蒙著眼鏡在一個山坡上尋找山坡的最低點一樣，這個山坡咱們可以把它當成LOSS值的山峰，咱們的目的就是能夠找到一個山峰的最低點也就是LOSS值最小的那個點。那么咱們該怎么走才能使得咱們朝著一個LOSS值下降的方向呢？我們可以想象一下，咱們要找到山坡的最低點需要一個方向，也就是說咱們首先需要得出一個明確的方向，這個方向能夠使得咱們朝著山坡下面走去尋找最低點。那么咱們該如何得出這個方向呢？

這就是咱們這節課的核心也就是最優化問題的解法，跟隨梯度去尋找山坡的最低點。梯度也就是山坡的一個最陡峭的方向，我們沿著這個最陡峭的方向可以最快的走到山坡的最低點，這里就引入了咱們這個梯度下降的問題，什么叫梯度下降呢？它的意思簡單的說就是咱們不是已經找到最陡峭的方向了嘛，那么咱們就沿著梯度的反方向去走，這就是梯度下降的直觀表達。之所以要反向就是由于咱們的梯度方向是使得LOSS值增加幅度最大的方向，所以咱們為了LOSS能減少就要朝著梯度下降的方向去尋找最小點。

咱們接下來要講的就是這個學習率了，咱們現在已經找到了一個要往下走的方向了，就差一個走的距離了。學習率就是咱們一次沿著這個梯度下降的方向走多遠，這個學習率可以說對于咱們整個最優化問題起著決定性的作用，因為如果學習率太大我們有可能有跳過最低點而學習率太小又會使得咱們整個網絡收斂的太慢。所以設置學習率還是很有學問的，這里咱們這是引入這個知識點，在之后的神經網絡中咱們會再詳細討論學習率這個問題的！


CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

神經網絡 深度學習

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇深度學習入門課程學習筆記04 softmax分類器
下一篇深度學習入門課程學習筆記06 反向傳播
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢