Download presentation
Presentation is loading. Please wait.
1
sequence-to-sequence
model Shipan Ren
2
双周完成任务 通过阅读paper、书籍等相关材料，学习RNN，lstm，gru，seq2seq 熟悉tensorflow
阅读代码，撰写代码文档
3
RNN
4
lstm
5
一、经典的sequence-to-sequence模型
经典的sequence-to-sequence模型由两个RNN网络构成，一个被称为“encoder”，另一个则称为“decoder”，前者负责把variable-length序列编码成fixed-length向量表示，后者负责把fixed_length向量表示解码成variable-length输出。
6
二、改进的模型——加入注意力机制 这个机制中，解码不再依赖单一的定长向量，而是依赖所有encoder状态关于decoder当前输出的加权求和。
7
三、其他策略 sample softmax策略 bucketing策略 beam search
8
四、代码实现 详见代码文档
9
谢 谢
Similar presentations
