如何在训练期间更改 tensorflow 优化器

Question

我之前读过 sgd 的泛化效果更好，但 adam 在训练的早期阶段收敛速度很快。 所以，我想在一些步骤后改变我的优化器。但是像下面这样的代码引发了预处理错误。如果有人知道如何在训练期间更改优化器？

for i in range(config.train_steps):
    _, l, s = sess.run([train_op, loss, summary])

    if i % 100 == 0:
        saver.save(sess, os.path.join(args.model_dir,
                                          'model.ckpt'))
        writer.add_summary(s, i)
        print('loss: ', l)
    if i == 1000:
        train_op = tf.train.GradientDescentOptimizer(learning_rate)
    coord.request_stop()
    coord.join(threads)

Answer 1

您不能这样更改优化器，但您可以创建两个优化器并使用第一个和第二个。这基本上就是您在代码中所做的。问题是优化器经常有一些相关的内部变量，您需要像其他任何变量一样初始化这些变量，然后才能使用它。此外，无论如何，您的代码并不完全正确，因为您还没有调用 minimize 操作。试试这样的：

early_train_op = tf.train.AdamOptimizer().minimize(loss)
late_train_op = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
# Call this after everything, including optimizers, has been created
init_op = tf.initialize_global_variables()
with tf.Session() as sess:
    sess.run(init_op)  # Now everything is correctly initialized
    for i in range(config.train_steps):
        if i < 1000:
            current_train_op = early_train_op
        else:
            current_train_op = late_train_op

        _, l, s = sess.run([current_train_op, loss, summary])

        if i % 100 == 0:
            saver.save(sess, os.path.join(args.model_dir,
                                          'model.ckpt'))
            writer.add_summary(s, i)
            print('loss: ', l)
        coord.request_stop()
        coord.join(threads)