吳恩達-深度學習筆記《序列模型》

吳恩達-深度學習筆記《序列模型》

序列模型概覽

**提出:**DNN存在一個缺陷:無法對時間序列上的變化進行建模,然而,樣本出現的時間順序對於自然語言處理、語音識別等應用很重要;RNN解決了樣本的處理在各個時刻獨立的問題,可以對時間序列上的變化進行建模,深度是時間上的長度。神經元的輸出可以在下一個時間戳直接作用到自身。即,某一層某一時刻神經元的輸入,除了上一層神經元在該時刻的輸出外,還有本身在上一時刻的輸出。
缺點:時間軸上的“梯度消失”,為解決這個問題——>長短時記憶單元LSTM:通過門的開關實現時間上記憶功能,防止梯度消失。
這裡寫圖片描述

RNN的梯度消失、爆炸問題

這裡寫圖片描述

lstm

LSTM防止梯度彌散和爆炸:LSTM用加和的方式取代了乘積,使得很難出現梯度彌散。但是相應的更大的機率會出現梯度爆炸,但是可以通過給梯度加門限解決這一問題
這裡寫圖片描述

GRU

這裡寫圖片描述
這裡寫圖片描述