熱線電話：13121318867

登錄
首頁精彩閱讀對反向傳播算法（Back-Propagation）的推導與一點理解
對反向傳播算法（Back-Propagation）的推導與一點理解
2018-08-27
收藏

對反向傳播算法（Back-Propagation）的推導與一點理解

本文在推導過程中忽略了偏置的存在，這樣做是為了更簡單明晰的闡述BP算法的操作過程，并不是說偏置不重要，希望不會引起誤會。

我們知道，神經網絡大多采取正向傳播預測，反向傳播誤差的結構。反向傳播算法是運用在神經網絡中進行網絡權重等最優值計算算法，其核心就是梯度下降 + 鏈式法則求偏導，下面就對反向傳播算法進行一下簡單的推導：

在下面的推導過程中，表示連接前一層神經元 和后一層神經元 的權值。

對于輸出層神經元 ，它的輸入 按下式進行計算(忽略偏置):

可以看到它的輸入等于前一層所有神經元的輸出和對應連接的加權和, 如上圖，而的輸出按下式計算:

對于有監督訓練, 期望輸出即樣本類標簽d和實際輸出y都是已知的, 可以定義誤差或者loss function為:

        前期的準備工作已經完成了，下面開始正式的推導過程：
     


這樣，我們就可以根據最后求出的誤差來對權重進行更新，這種誤差反向傳遞的方式就是反向傳播算法的精髓所在。

處理完輸出層神經元，我們再來看一下輸出層之前的一層神經元的權值更新，我們定義表示連接前一層神經元和后一層神經元的權值。

相信大家已經看出誤差反向傳導的內涵了，每一層所產生的誤差會逐漸向之前的層次傳播，而各層的權重根據梯度下降算法不斷地優化?？傊?，反向傳播算法的核心就是梯度下降 + 鏈式法則求偏導，雖然看起來很繁瑣并且計算復雜度有點高，但是實際上BP算法的精確性和易用性是很難被其他算法替代的，這也是現在比如CNN等很火的深度學習算法普遍采用BP算法的原因。



CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

神經網絡 有監督 深度學習

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇人工神經網絡—【BP】反向傳播算法證明
下一篇大數據對企業開展網絡營銷有多重要
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢