卷积神经网络在线训练

Question

在this 文章中在线训练神经网络 - 在训练期间选择输入：

这可以通过选择硬 小批量中的正/负样本。

谁能详细解释一下在线培训？

Answer 1

在线学习描述了一次训练一个输入数据点的模型，或者一次训练一个小批量。通常，使用在线学习是因为数据以流的形式传入，或者因为数据太大而无法一次全部保存在内存中。

一次天真地训练一个示例通常需要更多的步骤才能达到与离线训练相同的准确度，因为您无法在每一步中针对整个数据集优化损失函数。

但是，您链接的论文使用在线学习来智能地选择几次训练示例，以加快模型的收敛速度。他们的方法尝试选择模型当前最难的示例，以便模型在每个训练步骤中都可以做出最大的改进。