神经网络是否学习训练数据集中的分布？

Question

我正在尝试在具有不平衡类别（20% 类别 1、70% 类别 2、10% 类别 3）的数据集上训练卷积神经网络。我希望网络知道与第 2 类相比，第 1 类和第 3 类很少发生。

大多数 stackoverflow 答案建议通过向代表性不足的类添加更多数据或优先权重更新来平衡数据集。

我的问题

1) 如果我在不采取任何措施平衡数据集的情况下进行训练，模型会自行学习训练数据集的分布吗？

2) 如果他们可以了解数据的分布，那么需要按照许多 stackoverflow 答案中的建议来平衡数据集吗？

谢谢！

Answer 1

根据给定的情况，您可能能够为不平衡类训练成功的神经网络。但是，假设您正在尝试训练一个分类器，并且您有 90% 的 A 类实例和 10% 的 B 类实例。

一个非常容易找到并且非常有效的“解决方案”是创建一个始终返回 A 类作为预测的网络，因为这将具有 90% 的准确度（9/10 正确的预测）。学习算法可能很难从这种解决方案转变为更好的解决方案（所有可能的微小变化都可能导致网络性能比原来的更差！）。

拥有更平衡的训练集意味着这种惰性解决方案会导致性能下降（在两个平衡良好的类的情况下不超过 50%）。

简而言之，平衡类是一种通过阻止不良解决方案来帮助学习算法的方法，即使理论上对不平衡类进行训练有时可能会奏效。