在 keras 的 LSTM 中使用隐藏状态而不是输出

Question

我想使用Yang et al. 的注意力机制实现。我找到了一个使用这种注意力机制here 的自定义层的工作实现。而不是使用我的 LSTM 的输出值：

my_lstm = LSTM(128, input_shape=(a, b), return_sequences=True)
my_lstm = AttentionWithContext()(my_lstm)
out = Dense(2, activation='softmax')(my_lstm)

我想使用 LSTM 的隐藏状态：

my_lstm = LSTM(128, input_shape=(a, b), return_state=True)
my_lstm = AttentionWithContext()(my_lstm)
out = Dense(2, activation='softmax')(my_lstm)

但我得到了错误：

TypeError：只能将元组（不是“int”）连接到元组

我尝试将它与 return_sequences 结合使用，但到目前为止我尝试过的一切都失败了。如何修改返回的张量以便像返回的输出序列一样使用它？

谢谢！

Answer 1

我认为您的困惑可能源于 Keras 文档有点不清楚。

return_sequences: Boolean. Whether to return the last output in the output sequence, or the full sequence.
return_state: Boolean. Whether to return the last state in addition to the output.

return_state 上的文档特别令人困惑，因为它们暗示隐藏状态与输出不同，但它们是相同的。对于 LSTM，这有点模糊，因为除了隐藏（输出）状态之外，还有单元状态。我们可以通过查看 Keras 代码中的 LSTM 步进函数来确认这一点：

class LSTM(Recurrent):
    def step(...):
        ...
        return h, [h, c]

此步进函数的返回类型为output, states。所以我们可以看到隐藏状态h实际上是输出，对于这些状态我们得到隐藏状态h和细胞状态c。这就是为什么您看到您链接的Wiki article 交替使用术语“隐藏”和“输出”。

看看你链接得更近一点的论文，在我看来你的原始实现就是你想要的。

my_lstm = LSTM(128, input_shape=(a, b), return_sequences=True)
my_lstm = AttentionWithContext()(my_lstm)
out = Dense(2, activation='softmax')(my_lstm)

这会将每个时间步的隐藏状态传递给您的注意力层。您不走运的唯一情况是您实际上想要将每个时间步的单元状态传递到您的注意力层（这是我最初的想法），但我认为这不是您想要的。您链接的论文实际上使用了一个 GRU 层，它没有单元状态的概念，其步骤函数也返回隐藏状态作为输出。

class GRU(Recurrent):
    def step(...):
        ...
        return h, [h]

所以这篇论文几乎可以肯定是指隐藏状态（也就是输出）而不是细胞状态。

Answer 2

只是为了给妮可的回答加一分 -

如果我们在 LSTM 中使用 return_state = True 和 return_sequences = True 的组合，那么第一个 [h] 将在每个时间步（向量）返回隐藏状态，也就是输出，而第二个 [h] 将在最后一个时间步返回隐藏状态（标量）。