Keras - 将经过训练的多对多模型“转换”为一对多模型（生成器）

Question

我正在尝试使用 Reber Grammar 输入（暂时未嵌入）来理解 RNN（不是特定的）。您可以在this link 上找到 jupyter 笔记本（请忽略降价，因为我在第一个带有输出的版本上失败了，而且它不是最新的 :)）。

对于每个时间步，我提供训练的输入和预期输出（因此它是一个多对多模型）。

• 输入/输出是“OneHotEncoded”（基于字符串“BTSXPVE”），例如

  • B 是 [1, 0, 0, 0, 0, 0, 0]
  • V 为 [0, 0, 0, 0, 0, 1, 0]

• 对于时间步长，我有长度未知的字符串（此处未编码以使其更清晰），例如：

  • BPVVE
  • BPVPXVPXVPXVVE

所以我决定将它们填充到 20 个时间步长。

• 对于批次，我有空。我生成了 2048 个用于训练的编码字符串和 256 个用于测试的字符串。

所以我的输入张量是 (2048, 20, 7)。我的输出张量也是 (2048, 20, 7)，因为对于每个时间步，我都想得到预测。

所以我训练了 3 个多对多模型（简单 RNN、GRU 和 LSTM），如下面的代码。

model = Sequential()

model.add(LSTM(units=7, input_shape=(maxlen, 7), return_sequences=True))
model.compile(loss='mse',
              optimizer='Nadam',
              metrics=['mean_squared_error'])

history = model.fit(X_train, y_train, validation_data=(X_test, y_test), 
                    epochs=1500, batch_size=1024)

正如预期的那样，对于每个时间步，我都有可能获得一个特定的值，例如（经过一些清理之后）：

B 预测 [0, 0.622, 0, 0, 0.401, 0, 0]（60% 有 T 或 40% 有 P）

这是正确的根据图生成一个词

---

现在，我想使用此模型生成字符串（因此是一对多模型），但我不知道如何保留该模型并将其用作生成器。

我以为只输入 B 的输入（填充到 20 个时间步），得到结果，将 B 与输出的最佳索引连接起来，将其填充到 20 个时间步，将需要的输入提供给 NN 等等.但我很确定这不是我们应该这样做的方式：s

此外，我尝试输入'B'和'T'来检查输出的概率是多少（应该是S或X）但我得到了：

X = np.array([[[1,0,0,0,0,0,0], [0,1,0,0,0,0,0]]])  # [[[B, P]]]
X = sequence.pad_sequences(X, maxlen=20)
print(model.predict(X)[0])

[0, 0.106, 0.587, 0.1, 0, 0.171, 0.007]

我的理解是预测 T(10%)、S(60%)、X(10%)、V (18%)，但在 BT 之后，我应该在 X 上获得更多百分比，而在 V 上几乎没有/T（因为 T 之后的 V 和 T 只能在 B/P 之后）。就像我的模型没有考虑 n-1 个时间步长一样。所以也许我的模型是错误的:(

非常感谢您的支持，

Answer 1

您可以将此模型重新制作为stateful=True 模型。使其与timesteps=1 一起工作（或None 用于可变长度）。

重新制作模型：

newModel = Sequential()

newModel.add(LSTM(units=7, stateful=True,batch_input_shape=(1,1,7), return_sequences=True))

从其他模型获取权重：

newModel.set_weights(model.get_weights())

在预测中使用模型：

现在，使用此模型，您一次只能输入一个步骤。而且每次要输入新序列的时候一定要小心reset_states()：

所以，假设我们有首字母B。

startingLetter = oneHotForBWithShape((1,1,7))


#we are starting a new "sentence", so, let's reset states:
newModel.reset_states()

#now the prediction loop:
nextLetter = startingLetter
while nextLetter != endLetter:
    nextLetter = newModel.predict(nextLetter)
    nextLetter = chooseOneFromTheProbabilities(nextLetter)

---

关于结果的质量......也许你的模型太小了。

你可以尝试更多层，例如：

model = Sequential()

model.add(LSTM(units=50, input_shape=(maxlen, 7), return_sequences=True))
model.add(LSTM(units=30, return_sequences=True))
model.add(LSTM(units=7, return_sequences=True))

这个选择是任意的，我不知道它对您的数据来说是足够好还是太好了。