熱線電話：13121318867

登錄
首頁精彩閱讀深度學習入門課程學習筆記06 反向傳播
深度學習入門課程學習筆記06 反向傳播
2018-04-03
收藏

深度學習入門課程學習筆記06 反向傳播

反向傳播：

咱們在之前的課程講了一系列的前向傳播的知識點，前向傳播也就是從輸入到最終計算出LOSS值這一系列過程，那么這節課咱們要講一個更重要的知識點也就是反向傳播。反向傳播最直觀的意思就是說咱們要從LOSS值入手一步步的往回看，看什么呢？就是要看咱們的每一個權重參數對最終的LOSS值做了多大的貢獻。

最簡單的小例子

首先咱們用一個最簡單的小例子來看一下反向傳播是怎么一回事，如上圖最終的LOSS值等于-12下面咱們就要算對于X,Y,Z三個輸入來說分別對于LOSS值做了多大的貢獻，首先咱們用q=x+y，f=qz分別表示中間的計算過程。那么咱們要算什么呢？反向傳播最終要算的就是最終的LOSS值對X,Y,Z三個輸入的偏導數，這個偏導數該怎么算呢？在這里我們遵循一個鏈式法則也就是對于輸入來說他對于最終LOSS的貢獻等于他前面傳播下來的梯度再乘以自身的梯度。

鏈式法則

這里就是梯度傳播的計算方式，我們要算X和Y對于最終LOSS的貢獻（換句話說就是反向傳播到X和Y的梯度的大?。┮人闱懊嬉粚觽鞑サ絏和Y的梯度再去計算X和Y自身的梯度。

稍難的例子

咱們再來看一個稍微難一些的例子，上圖表示的是咱們之前說過的這個SIGMOID函數，咱們接下來要算的就是這個函數梯度傳播的過程，導數計算的公式我已經寫在圖上了，咱們只需要根據導數的計算方式一步步的從最終的LOSS值往回算就可以了，下面淺紅色的值就是梯度傳播的值。

這里我們可以看到梯度傳播可以是一步一步的傳播也可以一步傳播一整塊，這一整塊我們把它當做是一個整體，相應的就要計算這一整個塊的梯度了，也就是直接對SIGMOID函數求導。

梯度傳播的門

這里咱們所說的門就是一個單位區域，我們可以從圖中看出來咱們在計算梯度傳播的過程中無外乎就是這幾種門的操作，每種門也都有它各自的特性，他們的特性是怎么得出的呢？這里就不帶大家一步步算了，咱們可以動動筆算一下梯度的傳播然后就知道為什么這些門有不同的特性了。

反向傳播就先說到這里了，這里只是很簡單的談了一下反向傳播具體的計算過程如果同學們還是不太理解建議看一下原始課程會有很詳細的推導。


CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

深度學習

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇深度學習入門課程學習筆記05 最優化
下一篇在大數據時代下，2018年最值得關注的15大技術趨勢
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢