多层 LSTM 模型中 LSTM 层的形状

Question

    model = tf.keras.Sequential([tf.keras.layers.Embedding(tokenizer.vocab_size, 64),tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(64,return_sequences=True))     
    tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(32)),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(1, activation='sigmoid')
    ])

第二层有 64 个隐藏单元，由于 return_sequences=True，它也会输出 64 个序列。但是如何将其馈送到 32 个隐藏单元的 LSTM。不会导致形状不匹配错误吗？

Answer 1

实际上不会，不会导致它。首先第二层的输出形状不是64，而是128。这是因为您正在使用Bidirectional 层，它将通过向前和向后传递连接起来，因此您的输出将是(None, None, 64+64=128)。可以参考link。

RNN 数据的形状如下：(Batch_size, time_steps, number_of_features)。这意味着当您尝试使用不同的神经元连接两层时，特征会根据神经元的数量增加或减少。您可以关注特定链接以获取更多信息details。

对于您的特定代码，这就是模型摘要的样子。因此，简而言之，它们不会不匹配。

Model: "sequential_1"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
embedding (Embedding)        (None, None, 64)          32000     
_________________________________________________________________
bidirectional (Bidirectional (None, None, 128)         66048     
_________________________________________________________________
bidirectional_1 (Bidirection (None, 64)                41216     
_________________________________________________________________
dense_2 (Dense)              (None, 64)                4160      
_________________________________________________________________
dense_3 (Dense)              (None, 1)                 65        
=================================================================
Total params: 143,489
Trainable params: 143,489
Non-trainable params: 0
_________________________________________________________________