TimeDistributed(Dense) vs Dense in seq2seq答案

【问题标题】：TimeDistributed(Dense) vs Dense in seq2seqTimeDistributed(Dense) vs Dense in seq2seq
【发布时间】：2020-02-21 21:52:38
【问题描述】：

给定下面的代码

encoder_inputs = Input(shape=(16, 70))
encoder = LSTM(latent_dim, return_state=True)
encoder_outputs, state_h, state_c = encoder(encoder_inputs)
# We discard `encoder_outputs` and only keep the states.
encoder_states = [state_h, state_c]

# Set up the decoder, using `encoder_states` as initial state.
decoder_inputs = Input(shape=(59, 93))
# We set up our decoder to return full output sequences,
# and to return internal states as well. We don't use the
# return states in the training model, but we will use them in inference.
decoder_lstm = LSTM(latent_dim, return_sequences=True, return_state=True)
decoder_outputs,_,_ = decoder_lstm(decoder_inputs,
                                     initial_state=encoder_states)
decoder_dense = TimeDistributed(Dense(93, activation='softmax'))
decoder_outputs = decoder_dense(decoder_outputs)

# Define the model that will turn
# `encoder_input_data` & `decoder_input_data` into `decoder_target_data`
model = Model([encoder_inputs, decoder_inputs], decoder_outputs)

如果我改变了

decoder_dense = TimeDistributed(Dense(93, activation='softmax'))

到

decoder_dense = Dense(93, activation='softmax')

它仍然有效，但哪种方法更有效？

【问题讨论】：

标签： tensorflow keras lstm seq2seq encoder-decoder

【解决方案1】：

如果您的数据依赖于时间，例如Time Series 数据或包含Video 的不同帧的数据，则时间Distributed Dense 层比简单的Dense 层有效。

Time Distributed Dense 在GRU/LSTM 单元展开期间将相同的dense 层应用于每个时间步。这就是为什么错误函数会在predicted label sequence和actual label sequence之间。

使用return_sequences=False，Dense 层将仅在最后一个单元格中应用一次。当RNNs 用于分类问题时，通常会出现这种情况。

如果return_sequences=True，则Dense层用于在每个时间步应用，就像TimeDistributedDense一样。

在您的模型中，两者都是相同的，但如果您将第二个模型更改为 return_sequences=False，则 Dense 将仅应用于最后一个单元格。

希望这会有所帮助。快乐学习！

【讨论】：