多层 LSTM 网络的 Tensorflow 复用

Question

我正在尝试对不同的输入使用相同的 LSTM 架构，因此在展开双向 LSTM 的同时传递相同的单元格，同时展开不同的输入。我不确定它是否创建了两个完全不同的 LSTM 网络。看起来我的图表中有两个不同的节点。我的代码和图表如下所示：

def get_multirnn_cell(self):
    cells = []
    for _ in range(config.n_layers):
        cell = tf.nn.rnn_cell.LSTMCell(config.n_hidden, initializer=tf.glorot_uniform_initializer())
        dropout_cell = tf.nn.rnn_cell.DropoutWrapper(cell=cell,
                                                     input_keep_prob=config.keep_prob,
                                                     output_keep_prob=config.keep_prob)
        cells.append(dropout_cell)
    return cells

def add_lstm_op(self):

    with tf.variable_scope('lstm'):
        cells_fw = self.get_multirnn_cell()
        cells_bw = self.get_multirnn_cell()
        cell_fw = tf.nn.rnn_cell.MultiRNNCell(cells_fw)
        cell_bw = tf.nn.rnn_cell.MultiRNNCell(cells_bw)
        (_, _), (state_one_fw, state_one_bw) = tf.nn.bidirectional_dynamic_rnn(cell_fw, cell_bw,
                                                                               inputs=self.question_one,
                                                                               sequence_length=self.seql_one,
                                                                               dtype=tf.float32)

        self.state_one = tf.concat([state_one_fw[-1].h, state_one_bw[-1].h], name='state_one', axis=-1)

        # self.state_one = tf.concat([state_one_fw, state_one_bw], axis=-1)
        # [batch_size, 2*hidden_size]

        (_, _), (state_two_fw, state_two_bw) = tf.nn.bidirectional_dynamic_rnn(cell_fw, cell_bw,
                                                                               inputs=self.question_two,
                                                                               sequence_length=self.seql_two,
                                                                               dtype=tf.float32)
        self.state_two = tf.concat([state_two_fw[-1].h, state_two_bw[-1].h], name='state_two', axis=-1)

Answer 1

如果您想重用multirnn_cell，可以为variable_scope 传递reuse=tf.AUTO_REUSE。

with tf.variable_scope('lstm', reuse=tf.AUTO_REUSE)

请参阅doc。