熱線電話：13121318867

登錄
首頁精彩閱讀神經網絡中權值初始化的方法
神經網絡中權值初始化的方法
2018-06-01
收藏

神經網絡中權值初始化的方法

權值初始化的方法主要有：常量初始化（constant）、高斯分布初始化（gaussian）、positive_unitball初始化、均勻分布初始化（uniform）、xavier初始化、msra初始化、雙線性初始化（bilinear）

常量初始化(constant)

把權值或者偏置初始化為一個常數，具體是什么常數，可以自己定義

高斯分布初始化（gaussian）

需要給定高斯函數的均值與標準差 

positive_unitball初始化

讓每一個神經元的輸入的權值和為 1，例如：一個神經元有100個輸入，讓這100個輸入的權值和為1.  首先給這100個權值賦值為在（0，1）之間的均勻分布，然后，每一個權值再除以它們的和就可以啦。這么做，可以有助于防止權值初始化過大，從而防止激活函數（sigmoid函數）進入飽和區。所以，它應該比較適合simgmoid形的激活函數

均勻分布初始化（uniform）

將權值與偏置進行均勻分布的初始化，用min 與 max 來控制它們的的上下限，默認為（0，1）

xavier初始化

對于權值的分布：均值為0，方差為（1 / 輸入的個數） 的 均勻分布。如果我們更注重前向傳播的話，我們可以選擇 fan_in，即正向傳播的輸入個數；如果更注重后向傳播的話，我們選擇 fan_out, 因為在反向傳播的時候，fan_out就是神經元的輸入個數；如果兩者都考慮的話，就選  average = (fan_in + fan_out) /2。對于ReLU激活函數來說，XavierFiller初始化也是很適合。關于該初始化方法，具體可以參考文章1、文章2，該方法假定激活函數是線性的。

msra初始化

對于權值的分布：基于均值為0，方差為( 2/輸入的個數)的高斯分布；它特別適合 ReLU激活函數，該方法主要是基于Relu函數提出的，推導過程類似于xavier。

雙線性初始化（bilinear）

常用在反卷積神經網絡里的權值初始化



CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>>   “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

神經網絡

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇如何利用大數據是成為贏得行業競爭的關鍵
下一篇R讀取spss的sav格式數據
數據分析師考試動態
CDA報考指南
數據分析學習
數據分析師資訊
更多

CDA教育閉環

常見問題

關于我們

CDA數據分析師公眾號

  • CDA數據分析師公眾號

CDA考試中心小程序

  • CDA考試中心服務號

CDA數據分析師App下載

  • CDA數據分析師App下載
Copyright © 2015-2021, www.ruiqisteel.com All Rights Reserved. CDA數據分析師(北京國富如荷網絡科技有限公司) 版權所有 京ICP備11001960號-9 京公網安備 11010802034615號 經營許可證編號：京B2-20210330
聯系電話：13321103290 (微信同號)

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢