迁移学习 Inception V3：如果准确性波动，是否继续训练？答案

【问题标题】：Transfer Learning Inception V3 : Continue Training if Accuracy Fluctuating?迁移学习 Inception V3：如果准确性波动，是否继续训练？
【发布时间】：2019-01-30 08:56:54
【问题描述】：

我仍在使用 tensorflow 上的 Inception V3 进行迁移学习。这是我使用 Tensorboard 进行训练的屏幕截图。
基础训练源码：https://raw.githubusercontent.com/tensorflow/hub/master/examples/image_retraining/retrain.py

我的数据集约为 100 万，80:10:10 训练：验证：测试比率。
32:128 用于训练批量大小：验证批量大小
0.001 学习率

如您所见，训练准确度和验证准确度一直在波动（上下波动）。继续训练有什么意义吗？或者有什么导致我可以尝试解决的问题？

【问题讨论】：

您有更多指标吗？也许你的批量、学习率组合不是最优的。这通常会导致波动。对我来说，需要更多的指标来给出答案
更新了我的帖子
你试过降低 learning_rate 吗？
也可以尝试 k-fold 交叉验证或添加一些正则化器。
@PallaviJog 我确实尝试了 0.0005 但结果相同

标签： tensorflow deep-learning training-data

【解决方案1】：

看起来您的准确度正在发生很大变化。您使用的是哪种优化器？亚当？无论如何，如果您加入学习率衰减，它可能会有所帮助。

【讨论】：

我认为这是优化器optimizer = tf.train.GradientDescentOptimizer(FLAGS.learning_rate)
查看这篇文章：stackoverflow.com/questions/33919948/…
嘿，感谢您推荐AdamOptimizer。我试过了，效果比GradientDescent 好（更稳定，精度更高）。你能把你的答案编辑得更像一个真实的答案吗（解释为什么亚当很好），所以我可以接受你的答案