LSTM/GRU 自动编码器收敛

Question

目标

尝试在多变量时间序列的数据集上运行 LSTM 自动编码器：
X_train (200, 23, 178) - X_val (100, 23, 178) - X_test (100, 23, 178)

现状

普通的自动编码器比 LSTM AE 的简单架构可以获得更好的结果。

我对如何使用 Repeat Vector 包装层有一些疑问，据我了解，该包装层应该简单地重复次数等于序列长度的最后一个状态LSTM/GRU 单元，用于馈送解码器层的输入形状。

模型架构不会出现任何错误，但结果仍然比简单的 AE 差一个数量级，而我希望它们至少是相同的，因为我使用的架构应该更适合时间问题。

首先，这些结果是否具有可比性？

尽管如此，LSTM-AE 的重建误差看起来一点也不好看。

我的 AE 模型：

Layer (type)                 Output Shape              Param #   
=================================================================
dense (Dense)                (None, 178)               31862     
_________________________________________________________________
batch_normalization (BatchNo (None, 178)               712       
_________________________________________________________________
dense_1 (Dense)              (None, 59)                10561     
_________________________________________________________________
dense_2 (Dense)              (None, 178)               10680     
=================================================================

• 优化器：sgd
• 损失：mse
• 密集层的激活函数：relu

我的 LSTM/GRU AE：

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_1 (InputLayer)         (None, 23, 178)           0         
_________________________________________________________________
gru (GRU)                    (None, 59)                42126     
_________________________________________________________________
repeat_vector (RepeatVector) (None, 23, 59)            0         
_________________________________________________________________
gru_1 (GRU)                  (None, 23, 178)           127092    
_________________________________________________________________
time_distributed (TimeDistri (None, 23, 178)           31862     
=================================================================

• 优化器：sgd
• 损失：mse
• gru 层的激活函数：relu

Answer 1

您上面的两个模型似乎没有可比性，在有意义的方面。第一个模型试图压缩包含 178 个值的向量。这些向量很可能包含一些冗余信息，因此可以合理地假设您将能够压缩它们。

第二个模型尝试通过单个 GRU 层压缩 23 x 178 向量的序列。这是一项具有大量参数的任务。重复向量简单地获取第一个 GRU 层（编码器）的输出，并将其作为第二个 GRU 层（解码器）的输入。但是然后您获取解码器的单个值。我建议您在第二个 GRU（解码器）中使用 return_sequences=True 而不是 TimeDistributed 层。否则，您是说您期望 23x178 序列由所有具有相同值的元素组成；这必须导致非常高的错误/没有解决方案。

我建议你退后一步。您的目标是找到序列之间的相似性吗？还是能够做出预测？对于相似性任务，自动编码器方法更可取。为了进行预测，我建议您更倾向于将 Dense(1) 层应用于序列步骤的输出的方法。

你的数据集是开放的吗？可用的 ？如果可能的话，我很想试一试。