sequence-to-sequence model Shipan Ren https://pixabay.com_zh_银河-nightsky-星星-夜-星云-349720_ https://pixabay.com_zh_北极光-时间间隔-极光-太阳风-光-绿色-明星追踪-星轨道-225525_ https://pixabay.com_zh_水下-蓝色-海洋-海-跳水-旱厕-自然-深-绿松石-水-802092_ https://pixabay.comzh男子-阅读-触摸屏-博客-数字-片剂-工作-娱乐休闲-屏幕-791049
双周完成任务 通过阅读paper、书籍等相关材料,学习RNN,lstm,gru,seq2seq 熟悉tensorflow 阅读代码,撰写代码文档
RNN
lstm
一、经典的sequence-to-sequence模型 经典的sequence-to-sequence模型由两个RNN网络构成,一个被称为“encoder”,另一个则称为“decoder”,前者负责把variable-length序列编码成fixed-length向量表示,后者负责把fixed_length向量表示解码成variable-length输出。
二、改进的模型——加入注意力机制 这个机制中,解码不再依赖单一的定长向量,而是依赖所有encoder状态关于decoder当前输出的加权求和。
三、其他策略 sample softmax策略 bucketing策略 beam search
四、代码实现 详见代码文档
谢 谢