带有负反馈的 TensorFlow 优化器？

Question

我正在优化tensorflow 模型。它不是神经网络，我只是使用tensorflow 进行简单的导数计算。无论如何，损失表面似乎在某处有一个陡峭的边缘，我的损失有时会“弹出”它当前目标的局部最小值，损失会增加很多，优化器会在其他一些最佳的地方。

我希望它不做那件事。具体来说，我希望它看到损失，就像“刚刚上涨了一大堆的废话，我最好回溯一下。”即使当前梯度可能希望将其发送到其他地方，我希望它在某种意义上“返回”，并继续尝试找到它之前定位的最佳值。有没有这种方式有某种“负反馈”的张量流优化器？

Answer 1

您可以向前传球，检查损失，如果您认为损失可以接受，然后向后传球。在 TF 1.x 中，它需要一些 tf.cond 以及手动计算和应用梯度。在 TF 2.0 中相同，只是控制流更容易，但您必须使用 gradient_tape 并且仍然手动应用渐变。