这个函数如何以编程方式构建 LSTM

Question

代码如下：

def lstm(o, i, state): 
    #these are all calculated seperately, no overlap until....
    #(input * input weights) + (output * weights for previous output) + bias
    input_gate = tf.sigmoid(tf.matmul(i, w_ii) + tf.matmul(o,w_io) + b_i)

    #(input * forget weights) + (output * weights for previous output) + bias
    output_gate = tf.sigmoid(tf.matmul(i, w_oi) + tf.matmul(o,w_oo) + b_o)

    #(input * forget weights) + (output * weights for previous output) + bias        
    forget_gate = tf.sigmoid(tf.matmul(i, w_fi) + tf.matmul(o,w_fo) + b_f)

    memory_cell = tf.sigmoid(tf.matmul(i, w_ci) + tf.matmul(o,w_co) + b_c)

    state = forget_gate * state + input_gate * memory_cell

    output = output_gate * tf.tanh(state)

    return output, state

这是lstm的图纸：

我很难理解这两者是如何匹配的。任何帮助将非常感激。

Answer 1

This 是一篇关于 LSTM 的优秀博文。这段代码直接实现了LSTM；这里的代码等价于Wikipedia:

输入和输出权重反映了网络的状态。在一个简单的全连接 (FC) 层中，我们只有一个权重矩阵，我们将使用它来计算层的输出：

然而，LSTM 的优势在于它包含多个信息源或状态；当我们说 LSTM 有记忆时，这就是我们所指的。我们有输出门，就像 FC 层一样，但我们也有遗忘门、输入门、单元状态和隐藏状态。这些都结合起来提供多种不同的信息来源。这些方程式显示了它们如何结合在一起产生输出。

在方程中，x 是输入，f_t 是输入门。我建议阅读链接的博客文章和 Wikipedia 文章，以了解方程如何实现 LSTM。

图像描述了输入门根据先前单元格的值和输入门的先前值向单元格提供输出。该单元还包含遗忘门；然后将输入馈送到输出门，输出门也将输出门的先前值作为输入。