熱線電話:13121318867

登錄
首頁大數據時代深度學習中LSTM的核心思想是什么?
深度學習中LSTM的核心思想是什么?
2020-07-13
收藏

LSTM全稱為:long short term memory,也叫作長短期記憶人工神經網絡,本質上是一種時間循環神經網絡。LSTM是為了解決一般的RNN長期依賴問題而被專門設計出來的。所有的RNN都具有一種重復神經網絡模塊的鏈式形式。在標準RNN中,這個重復的結構模塊只有一個非常簡單的結構,例如一個tanh層。

LSTM 也具有這樣的結構,但是重復的模塊擁有的卻是一個不同的結構。相比單一神經網絡層,LSTM有四個,采用一種非常特殊的方式來進行交互。

LSTM核心思想:

LSTM最為關鍵的地方是:細胞的狀態(綠色的圖代表的是一個cell),以及穿過細胞的那條水平線。

細胞狀態與傳送帶相類似。直接運行在整個鏈上,線性交互數量很少。能夠很容易的讓信息在上面流傳并且保持不變。

如果只有上面的那條水平線是無法進行添加或者刪除信息的,需要借助一種叫做 門(gates) 的結構來實現。

門 能夠實現選擇性地讓信息通過,這主要是利用一個 sigmoid 的神經層以及一個逐點相乘的操作而實現的。

sigmoid 層輸出的每一個元素都是一個在 0 和 1 之間的實數,表示的是讓對應信息通過的權重(或者占比)。比如, 0 代表“不讓任何信息通過”, 1代表“讓所有信息通過”。

LSTM通過遺忘門、輸入門和輸出門,三個這樣的基本結構來實現信息的保護和控制。

數據分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數據分析師資訊
更多

OK
客服在線
立即咨詢
日韩人妻系列无码专区视频,先锋高清无码,无码免费视欧非,国精产品一区一区三区无码
客服在線
立即咨詢