了解 Seq2Seq 模型

Question

这是我对基本序列到序列 LSTM 的理解。假设我们正在处理问答设置。

你有两组 LSTM（下面的绿色和蓝色）。每组分别共享权重（即 4 个绿色单元格中的每一个都具有相同的权重，并且与蓝色单元格相似）。第一个是多对一LSTM，总结了在最后一个隐藏层/cell memory的问题。

第二组（蓝色）是多对多 LSTM，其权重与第一组 LSTM 不同。输入只是答案句子，而输出是同一个句子移位了。

问题有两个方面： 1. 我们是否将最后一个隐藏状态仅作为初始隐藏状态传递给蓝色 LSTM。或者它是最后一个隐藏状态和细胞记忆。 2. 有没有办法在 Keras 或 Tensorflow 中设置初始隐藏状态和单元内存？如果有参考？

（图片取自 suriyadeepan.github.io）

Answer 1

1. 我们是否仅将最后一个隐藏状态作为初始隐藏状态传递给蓝色 LSTM。或者它是最后的隐藏状态和单元记忆。

隐藏状态h 和单元内存c 都被传递给解码器。

TensorFlow

在seq2seq source code，你可以在basic_rnn_seq2seq()找到如下代码：

_, enc_state = rnn.static_rnn(enc_cell, encoder_inputs, dtype=dtype)
return rnn_decoder(decoder_inputs, enc_state, cell)

如果您使用LSTMCell，则从编码器返回的enc_state 将是一个元组(c, h)。如您所见，元组直接传递给解码器。

Keras

在 Keras 中，为 LSTMCell 定义的“状态”也是一个元组 (h, c)（注意顺序与 TF 不同）。在LSTMCell.call()，您可以找到：

    h_tm1 = states[0]
    c_tm1 = states[1]

要获取从LSTM 层返回的状态，您可以指定return_state=True。返回值是一个元组(o, h, c)。张量o 是该层的输出，除非您指定return_sequences=True，否则它将等于h。

1. 有没有办法在 Keras 或 Tensorflow 中设置初始隐藏状态和单元内存？如果有参考？

TensorFlow

调用时只需将初始状态提供给LSTMCell。比如在official RNN tutorial：

lstm = tf.contrib.rnn.BasicLSTMCell(lstm_size)
...
    output, state = lstm(current_batch_of_words, state)

对于诸如tf.nn.static_rnn 之类的函数，还有一个initial_state 参数。如果您使用 seq2seq 模块，请将状态提供给rnn_decoder，如问题 1 的代码所示。

Keras

在 LSTM 函数调用中使用关键字参数initial_state。

out = LSTM(32)(input_tensor, initial_state=(h, c))

您实际上可以在the official documentation 上找到这种用法：

关于指定 RNN 初始状态的注意事项

您可以通过以下方式象征性地指定 RNN 层的初始状态 使用关键字参数initial_state 调用它们。的价值 initial_state 应该是张量或张量列表，代表 RNN 层的初始状态。

---

编辑：

现在 Keras (lstm_seq2seq.py) 中有一个示例脚本，展示了如何在 Keras 中实现基本的 seq2seq。该脚本还介绍了如何在训练 seq2seq 模型后进行预测。

Answer 2

（编辑：此答案不完整，未考虑状态转移的实际可能性。请参阅已接受的答案）。

从 Keras 的角度来看，该图片只有两层。

• 绿色组是一个 LSTM 层。
• 蓝色组是另一个 LSTM 层。

除了传递输出之外，绿色和蓝色之间没有任何通信。所以，1 的答案是：

1. 只有思想向量（该层的实际输出）被传递到另一层。

内存和状态（不确定它们是否是两个不同的实体）完全包含在单个层中，并且最初不打算与任何其他层看到或共享。

该图像中的每个单独块在 keras 中完全不可见。它们被认为是“时间步长”，仅以输入数据的形式出现。很少担心它们（除非非常高级的用法）。

在keras中是这样的：

很容易，您只能访问外部箭头（包括“思想向量”）。
但是可以访问每个步骤（图片中的每个单独的绿色块）并不是一件暴露的事情。所以...

1. 在 Keras 中也不希望将状态从一层传递到另一层。你可能不得不破解一些东西。 （见：https://github.com/fchollet/keras/issues/2995）

但是考虑到一个足够大的思想向量，你可以说它会学会一种携带本身重要的东西的方法。

您从这些步骤中得到的唯一概念是：

• 你必须输入形状像(sentences, length, wordIdFeatures)的东西

考虑到长度维度中的每个切片是每个绿色块的输入，将执行这些步骤。

您可以选择使用单个输出(sentences, cells)，这样您就完全忘记了步骤。或者……

• 像(sentences, length, cells) 这样的输出，您可以从中通过长度维度了解每个块的输出。

一对多还是多对多？

现在，第一层是多对一的（但如果您愿意，也没有什么能阻止它成为多对多）。

但是第二个......这很复杂。

• 如果思想向量是由多对一构成的。您将不得不管理一种创建一对多的方式。 （这在 keras 中并非微不足道，但您可以考虑重复预期长度的思想向量，使其成为所有步骤的输入。或者用零或一填充整个序列，仅保留第一个元素作为思想向量)
• 如果思想向量是由多对多构成的，则可以利用这一点并保持简单的多对多，前提是您愿意接受输出与输入具有完全相同的步数。

Keras 没有针对 1 到多个案例的现成解决方案。 （从单个输入预测整个序列）。