神经网络已经收敛的证据？ [关闭]

Question

我已经用 7 个可学习层训练了一个卷积网络大约 20 个小时。有哪些通用方法可以判断网络是否已收敛或仍需要训练？

这是第一个卷积层参数的直方图：

这是训练和测试集的损失和准确率图表：

Answer 1

显然，当您的分数不断提高（训练和测试）时，这意味着您走在正确的道路上，并且您将达到本地/全球最低水平。当你看到改变方向的分数在移动（训练仍然在下降，测试在上升）或者两个分数都停滞不前，那么是时候停下来了。

但是

当您使用准确性作为评估指标时，您只能得到模型的异常行为。例如：网络输出的所有结果都是最有价值的类的数量。 Explanation。这个问题可以通过使用 f1、logloss 等其他评估指标来解决，您会在学习期间看到任何问题。

对于不平衡的数据，您可以使用任何策略来避免不平衡的负面影响。就像softmax_cross_entropy in tensorflow 中的权重一样。实现你可以找到there。