在 Tensorflow 中保存 AdaGrad 算法的状态答案

【问题标题】：Saving the state of the AdaGrad algorithm in Tensorflow在 Tensorflow 中保存 AdaGrad 算法的状态
【发布时间】：2017-02-09 06:28:08
【问题描述】：

我正在尝试训练 word2vec 模型，并希望将嵌入用于另一个应用程序。由于稍后可能会有额外的数据，并且我的计算机在训练时很慢，我希望我的脚本稍后停止并恢复训练。

为此，我创建了一个保护程序：

saver = tf.train.Saver({"embeddings": embeddings,"embeddings_softmax_weights":softmax_weights,"embeddings_softmax_biases":softmax_biases})

我保存了嵌入、softmax 权重和偏差，以便稍后恢复训练。（我认为这是正确的方法，但如果我错了，请纠正我）。

不幸的是，当使用此脚本恢复训练时，平均损失似乎又上升了。

我的想法是这可以归因于我正在使用的 AdaGradOptimizer。最初，外部乘积矩阵可能会设置为全零，在我的训练之后它将被填充（导致学习率较低）。

有没有办法保存优化器状态以便以后继续学习？

【问题讨论】：

保护程序应该做你想做的事。优化器的状态也应该在那里。也许您正在重新初始化它？
你确定优化器的状态在那里吗？在这种情况下，我只传递嵌入、softmax_weights 和 softmax_biases，对吗？尝试将优化器添加到 train.Saver 会出错。至于重新初始化它：我确实初始化了几个变量，但不是我保存的那个。 AdaGrad 优化器的变量在哪里？我可以在训练之前/之后以及加载之前/之后检查它们吗？
为了完整起见，我在此主题上添加了指向您的 github 问题的链接：github.com/tensorflow/tensorflow/issues/5595

标签： tensorflow

【解决方案1】：

虽然当您尝试直接序列化优化器对象（例如通过tf.add_to_collection("optimizers", optimizer）并随后调用tf.train.Saver().save()）时，TensorFlow 似乎会抱怨，但您可以保存和恢复训练更新操作这是从优化器派生的：

# init
if not load_model:
    optimizer = tf.train.AdamOptimizer(1e-4)
    train_step = optimizer.minimize(loss)
    tf.add_to_collection("train_step", train_step)
else:
    saver = tf.train.import_meta_graph(modelfile+ '.meta')
    saver.restore(sess, tf.train.latest_checkpoint('./'))
    train_step = tf.get_collection("train_step")[0]

# training loop
while training:
    if iteration % save_interval == 0:
        saver = tf.train.Saver()
        save_path = saver.save(sess, filepath)

我不知道如何获取或设置特定于现有优化器的参数，因此我没有直接的方法来验证优化器的内部状态是否已恢复，但训练恢复时的损失和准确性与快照已创建。我还建议使用对Saver() 的无参数调用，这样未特别提及的状态变量仍将被保存，尽管这可能不是绝对必要的。

您可能还希望保存迭代或纪元数以供以后恢复，如本示例中所述： http://www.seaandsailor.com/tensorflow-checkpointing.html

【讨论】：