神经网络反向传播（1 个输出）无处可寻？

Question

我有一个包含大量输入的神经网络，我想训练它以实现只有 1 个输入很重要。首先我用 input[1]=1 训练它并给出结果 10 然后我用完全相同的输入进行训练，除了 input[1] = 0 并且给定结果为 0。

在我切换到另一个之前，我训练它们直到错误为 0，但它们只是不断上下改变不同的权重，直到输出等于给定的结果，他们永远不会弄清楚只有与输入相关的权重[1] 需要关注。 可以说这是一个常见的错误，可以通过某种方式绕过吗？

附言。我正在使用 Sigmoid 和衍生物

Answer 1

您正在做的是渐进式或选择性学习。每次您在新数据上重新训练网络几个时期时，您都会过度拟合新数据。如果在您的情况下，您不关心增量学习，而只关心数据集的结果，那么最好在多次迭代中使用数据集中的批次，直到您的网络收敛并且不适合训练数据。