aihot  2017-10-14 11:30:16  深度学习 |   查看评论   

  LSTM计算过程举例:

LSTM计算过程举例

LSTM计算过程举例

  左边的图,遗忘门那,c' = 3+cc是7,c'就得到10了。

  理解了LSTM的逻辑结构,接下来我们看一下LSTM的真实结构,可以翻上去和标准RNN的结构图比较一下:

LSTM的真实结构

LSTM的真实结构

  我们先来解释一下图中的各种图标的含义:

浅谈深度学习基础

 

  黄色方块代表一个神经网络层,里面的σ代表Sigmoid激活函数,tanh代表双曲正切激活函数。粉色的圈代表一次操作,比如求积求和。每一条黑线传输着一整个向量,从一个节点的输出到其他节点的输入。合在一起的线表示向量的连接,分开的线表示内容被复制,然后分发到不同的位置。

  我们这里准备一部分一部分的将真实结构对应到前面的逻辑结构上去。先是逻辑结构中的记忆细胞:

浅谈深度学习基础

 

  这里图中的Ct-1Ct的过程,就是前面逻辑结构中cc'的过程,前面讲cc'的过程有两部分,一部分是由遗忘门f(zf)决定前面的c是否参与到c'的计算中来,对应到真实结构上也就是图中的ft,它决定了Ct-1会不会加到C中去;另一部分就是输入门的输入,在讲逻辑结构的过程中,我们知道,输入门的输入也由两部分构成,一部分是信号输入zi代入Sigmoid函数的结果f(zi)决定了是否接受输入z,另一部分就是处理输入z得到的g(z)了。对应到上面的图中,it就是f(zi),负责决定输入z要不要被采用,图中与it相乘的另一部分,就可以理解为g(x)了。

 

除特别注明外,本站所有文章均为 赢咖4注册 原创,转载请注明出处来自浅谈深度学习基础(下)

留言与评论(共有 0 条评论)
   
验证码:
[lianlun]1[/lianlun]