对于之间的神经网络，各个输入信号之间没有联系，但对于现实中的一些场景，如语音处理，文字识别等，输入之间均有一点的联系，根据此应用场景，产生了LSTM（Long Short Term Memory）网络。
与BP神经网络相似，LSTM网络多了一个反馈，即将上一个时间的输出作为了下一个时间的输入，基本结构如下：
LSTM主要由输入门，输出门，忘记门控制。下图所示为其一个隐藏的结构，最下面g为输入信号，Input Gate为输入门，两个数值做乘法，即可对输入信号进行判断，让其进不进入后面的内容。Forget Gate为忘记门，使信号发生一定的衰减，Output Gate为输出门，控制输出信号。
其隐藏层计算如下：
Xt为输入信号，h(t-1)为上一次的输出信号。每一个门的输入为：权重值W乘以输入信号+权重值U乘以上次的信号+偏置值。i(t)为输入信号，c~(t)为输入门输出信号，两者相乘，进入Cell，在与来自忘记门的信号，f（t）和c(t-1)之积作和，得c(t)。c(t)信号输入到tanh()函数，其输出与输出门相乘作为最后输出。
其网络结构如下所示：
最下面一层为输入，中间为隐层，最上面为输出层。可以通过控制各个门的开关来控制信号的走向。