在 Keras 中使用双向 LSTM 填空句子

Question

我目前正在研究 RNN，特别是 LSTM，我试图弄清楚如何实现双向 LSTM 来填补句子中缺失的单词。 我对要传递给模型拟合方法的训练集的结构有疑问。 如果我的句子列表是由这样的元素组成的：“HI GUYS， ARE YOU？”我的目标标签是“HOW”，BI-LSTM 怎么能理解它必须预测缺失值而不是句子的下一个元素？我看到here 双向 LSTM 的优点是能够查看过去和未来的标记以获取有关上下文的信息并更好地预测目标，但我仍然不知道如何在实践中实现这一点。所以我的问题是：

1. 我的火车组的结构是什么？
2. BI-LSTM 是否知道要预测什么标记，还是我必须指定它？怎么做？

Answer 1

BI-LSTM 如何理解它必须预测缺失值而不是句子的下一个元素？

如果你训练它，那么它应该“理解”你想要它做什么。

1. 您的训练集将是句子中的单词列表（以正确的顺序），没有丢失的单词。您还可以选择用 缺失词标记 替换缺失的单词，这样模型就少了一项任务。老实说，有很多方法可以做到这一点。 y 将是缺失的单词。

2. 我不太明白你在这里的意思，但我相信我已经在第一个答案中回答了。