如何将一个 LSTM 的输出连同文本一起输入到 Tensorflow 中的另一个 LSTM？

Question

我正在尝试将一个 LSTM 层的输出连同该层包含的文本一起输入另一个 LSTM 层。提供给两个 LSTM 的文本是不同的，我的目标是第二个 LSTM 在第一个 LSTM 理解的基础上提高对文本的理解。

我可以尝试像这样在 Tensorflow 中实现它：

# text inputs to the two LSTM's
rnn_inputs = tf.nn.embedding_lookup(embeddings, text_data)
rnn_inputs_2 = tf.nn.embedding_lookup(embeddings, text_data)
# first LSTM
lstm1Output, lstm1State = tf.nn.dynamic_rnn(cell=lstm1, 
        inputs=rnn_inputs, 
        sequence_length=input_lengths, 
        dtype=tf.float32, 
        time_major=False)
# second LSTM
lstm2Output, lstm2State = tf.nn.dynamic_rnn(cell=lstm2, 
        # use the input of the second LSTM and the first LSTM here
        inputs=rnn_inputs_2 + lstm1State, 
        sequence_length=input_lengths_2, 
        dtype=tf.float32, 
        time_major=False)

这有一个问题，因为rnn_inputs_2 的大小是(batch_size, _, hidden_layer_size)，而lstm1State 的大小是(batch_size, hidden_layer_size)。有谁知道我可以如何改变形状来完成这项工作，或者是否有更好的方法？

谢谢

Answer 1

您将 LSTM1 的隐藏状态解释为一个句子嵌入（理所当然）。现在，您希望将该句子嵌入作为先验知识传递到 LSTM2 中，它可以根据它做出决策。

如果我描述正确，那么您似乎是在描述编码器/解码器模型，并在 LSTM2 中添加了新输入。如果那是准确的，那么我的第一种方法是将 LSTM1 的隐藏状态作为 LSTM2 的初始状态传入。这比将其添加到每个 LSTM2 时间步的输入中要合乎逻辑。

您将获得从 LSTM2 通过 LSTM1 的状态返回到 LSTM1 的额外梯度路径的进一步好处，因此您不仅要训练 LSTM1 的 LSTM1 的损失函数，还要训练它提供某些东西的能力LSTM2 可以用来改进其损失函数（假设您在相同的 sess.run 迭代中同时训练 LSTM 1 和 2）。

关于问题：

另一个问题，如果我想引入一个 LSTM3 的输出怎么办 也应该影响 LSTM2。在这种情况下，我是否可以将 LSTM3 和 LSTM1隐藏状态并将其设置为LSTM2的初始状态？

求和听起来很糟糕，串联听起来不错。你控制 LSTM2 的隐藏状态大小，它应该有更大的隐藏状态大小。

关于这个问题：

我没有提到的一件事 之前是有时 LSTM1 不会收到输入，显然 因为它的输入是一个句子，LSTM1 会收到不同的输入 每次。这会影响 LSTM1 和 LSTM2 的错误更新吗？ 另外，这意味着我不能使用编码器-解码器系统， 对？否则你说的有道理，我现在正在运行它 看看它是否有助于我的表现

在这种情况下，如果 LSTM1 没有输入（因此没有输出状态），我认为逻辑解决方案是用全零的标准隐藏状态向量初始化 LSTM2。如果你不给它一个初始隐藏状态，这就是 dynamic_rnn 在幕后所做的事情，所以如果你明确地传递一个 0 的向量，它是等价的。