LSTM计算过程举例:
左边的图,遗忘门那,c' = 3+c
。c
是7,c'
就得到10了。
理解了LSTM的逻辑结构,接下来我们看一下LSTM的真实结构,可以翻上去和标准RNN的结构图比较一下:
我们先来解释一下图中的各种图标的含义:
黄色方块代表一个神经网络层,里面的σ
代表Sigmoid激活函数,tanh代表双曲正切激活函数。粉色的圈代表一次操作,比如求积求和。每一条黑线传输着一整个向量,从一个节点的输出到其他节点的输入。合在一起的线表示向量的连接,分开的线表示内容被复制,然后分发到不同的位置。
我们这里准备一部分一部分的将真实结构对应到前面的逻辑结构上去。先是逻辑结构中的记忆细胞:
这里图中的Ct-1
到Ct
的过程,就是前面逻辑结构中c
到c'
的过程,前面讲c
到c'
的过程有两部分,一部分是由遗忘门f(zf)
决定前面的c
是否参与到c'
的计算中来,对应到真实结构上也就是图中的ft
,它决定了Ct-1
会不会加到C
中去;另一部分就是输入门的输入,在讲逻辑结构的过程中,我们知道,输入门的输入也由两部分构成,一部分是信号输入zi
代入Sigmoid函数的结果f(zi)
决定了是否接受输入z
,另一部分就是处理输入z
得到的g(z)
了。对应到上面的图中,it
就是f(zi)
,负责决定输入z
要不要被采用,图中与it
相乘的另一部分,就可以理解为g(x)
了。