发新帖

LSTM 为什么能保存长期记忆呢?想不明白呀 :-(

[复制链接]
651 9

快来加入 TensorFlowers 大家庭!

您需要 登录 才可以下载或查看,没有帐号?加入社区

x
求解释!
我知道答案 回答被采纳将会获得10 金币 已有9人回答
本楼点评(0) 收起

精彩评论9

心有猛虎  TF荚荚  发表于 2018-4-17 11:49:02 | 显示全部楼层
参考《deep learning》中文版,“循环和递归网络”一章。基本原理是这样的。
LSTM是一种RNN。循环神经网络是一种专门用于处理序列的神经网络。
他的计算图的两种形式
    回路原理图(循环图)
        h(t) = f( h(t-1),  x(t),  参数组)
        h(t) 作为过去序列的有损摘要,可能比较简单(例如统计语言建模中,根据上一个词预测下一个词);也可能比较丰富,能大致恢复输入序列(例如自编码器)
    展开计算图
        h(t) = g(t) (x(t), x(t-1), ... x(2), x(1))
        能够明确描述其中的计算流程
        通过显示的信息流动路径,说明信息在时间上向前(计算损失和输出)和向后(计算梯度)的思想

long short-term memory (LSTM)  内部有一个类似渗漏单元的状态变量,用于记忆信息
  • h(t) = q(t) * atanh(s(t))



  •       s(t) = f(t) * s(t-1) + g(t) * input(t)


    •        input(t) 是类似RNN的输入,包含 x 和 h(t-1)         注意这里的 h(t-1)
    •       f(t)是遗忘门,  g(t)是输入门,  q(t)是输出门    它们的形式都是 sigmoid( 偏置 +  x(t)*权重 + h(t-1)*权重))
      • 输入和各种门都是 仿射变换 和 一个非线性映射的形式



本楼点评(0) 收起
心有猛虎  TF荚荚  发表于 2018-4-17 11:51:57 | 显示全部楼层
从freemind粘过来的,没想到格式乱了。如果看着晕,我再调整格式。
本楼点评(0) 收起
isly831130  TF荚荚  发表于 2018-4-17 14:48:34 | 显示全部楼层
請上youtube 搜尋: Sequence-to-sequence Learning 尋找李宏毅的視頻 前半部分有很好的解釋
本楼点评(0) 收起
2764  TF荚荚  发表于 2018-4-17 17:54:07 | 显示全部楼层
搞清楚3个门的作用,根据流程过一遍就好了,推荐吴恩达的视频,网易课堂有,如果一遍不行多过几遍。
本楼点评(0) 收起
M丶Sulayman  TF豆豆  发表于 2018-4-17 18:06:58 | 显示全部楼层
推荐你去看吴恩达的课,讲的很详细
本楼点评(0) 收起
李双峰  TF荚荚  发表于 2018-4-17 18:30:39 来自手机  | 显示全部楼层
M丶Sulayman 发表于 2018-4-17 18:06
推荐你去看吴恩达的课,讲的很详细

国内的网易云课堂就有带中文翻译的视频,很不错
本楼点评(0) 收起
zhanys_7  TF荚荚  发表于 2018-7-3 17:51:11 | 显示全部楼层

主要是3个门的作用,他们会自动学习到哪些应该遗忘哪些应该记忆
本楼点评(0) 收起
neverchange  TF豆豆  发表于 2018-7-3 18:09:39 | 显示全部楼层
搜一下回路原理图,重点看看三个门的流动,你会明白的
本楼点评(0) 收起
ViolinSolo  TF豆豆  发表于 2018-7-3 20:42:13 | 显示全部楼层
其实我觉得你可以看一下简书的那个rnn的介绍,解释的很详细,当然感觉像是人的猜测哈哈哈,这就是为何gru我有点看不懂
本楼点评(0) 收起
您需要登录后才可以回帖 登录 | 加入社区

本版积分规则

快速回复 返回顶部 返回列表