Long short term memory 郭琦鹏 qpguo12@fudan.edu.cn.

Presentation on theme: "Long short term memory 郭琦鹏 qpguo12@fudan.edu.cn."— Presentation transcript:

1 Long short term memory 郭琦鹏

2 Show and tell

3 神经元（感知机） net 𝑛𝑒𝑡 𝑥 = 𝑊∗𝑥 +𝑏 f w y x 𝑦=𝑓(𝑛𝑒𝑡 𝑥 )

4 BP(Back Propagation) f 𝑛𝑒𝑡 𝑥 = 𝑊∗𝑥 +𝑏 net 𝑦=𝑓(𝑛𝑒𝑡 𝑥 ) w y x
𝑛𝑒𝑡 𝑥 = 𝑊∗𝑥 +𝑏 net 𝑦=𝑓(𝑛𝑒𝑡 𝑥 ) f w y x 𝐸=0.5∗(𝑡−𝑦)^2 𝜕𝐸 𝜕𝑊 = 𝑡−𝑦 ∗ 𝑓 ′ 𝑛𝑒𝑡 𝑥 ∗ 𝑥

5 如何学习序列 学习序列需要找到序列间元素的关系 需要知道以前的信息 需要记忆

6 RNN(Recurrent Neural Network)
引入自环，将前一步的信息传递到当前时刻

7 RNN的学习 如何训练这种结构的网络？ 两种传统的方法 BPTT RTRL

8 BPTT(Back Propagation Through Time)

9 RTRL(Real Time Recurrent Learning)
w t2 ∆𝑤= ∆𝑤(𝑡) w t1 w t0

10 RNN的瓶颈 上述RNN的训练方法无法应对长期记忆。
𝜕𝐸(𝑡) 𝜕𝑦(t−𝑞) = 𝜕𝐸(𝑡) 𝜕𝑦(𝑡) 𝜕𝑦(𝑡) 𝜕𝑦(𝑡−1) 𝜕𝑦(𝑡−1) 𝜕𝑦(𝑡−2) … 𝜕𝑦 𝑡−𝑞+1 𝜕𝑦 𝑡−𝑞 = 𝑓 ′ 𝑛𝑒𝑡 𝑡 ∗ 𝑤∗ 𝑓 ′ 𝑛𝑒𝑡 𝑡−1 ∗ 𝑤∗ 𝑓 ′ 𝑛𝑒𝑡 𝑡−2 …

11 RNN的瓶颈

12 RNN的改进 固定自环的权值，稳定误差传递 新的问题，学习能力大大降低 1.0

13 RNN的进一步改进 引入开关控制输入信息 开关有助于把原始问题分解 然后再进行学习 1.0 输入开关

14 LSTM(Long Short Term Memory)
固定自环权值，引入开关，就从RNN到了LSTM

15 新的训练方法 LSTM使用的训练方法结合了RTRL和BPTT并做了一些调整 Truncated BPTT

16 Truncated BPTT

17 Forget Gate

18 EXPERIMENT

19 noise-free sequences with long time lags

20 References http://www.willamette.edu/~gorr/classes/cs449/rtrl.html
Show and Tell: A Neural Image Caption Generator Oriol Vinyals, Alexander Toshev, Samy Bengio, Dumitru Erhan arXiv: S. Hochreiter and J. Schmidhuber. Long short-term memory. Neural Computation, 9(8):1735–1780,

21 Thanks Q&A

22 Show and Tell