不平衡张量流模型的权重策略

Question

我想从一个不平衡的数据集中训练一个 tensorflow DNNClassifier 模型。每个样本都有一个“质量”值，代表样本的相对相关性。我假设我可以使用权重来表示这种相关性。我读到权重特征乘以损失。在这种情况下，“好”样本的权重可能较低。准确吗？

Answer 1

“好样品”是什么意思？在不平衡的情况下，您将有 2 种样本，数量较多的样本和数量较少的样本。

多的应该少一些，少的应该多一些。我们基本上是通过夸大损失使模型更关注少数样本。

Answer 2

正如 Pankaj Kabra 正确指出的那样，尚不清楚您对“好”样本的含义。如果你想让它们更重要，你应该更多地权衡这些例子；相反，如果这些是最多的样本，并且您不希望网络仅仅因为有更多样本而偏向它们，那么您需要减少它们的权重。

最经典的方法有两种：

1. 根据类别对每个样本的重量损失进行多重处理。这意味着，如果您正在评估更多类别的损失，您必须将其值乘以较小的权重；反之亦然，如果您正在处理最小的班级，那么权重必须更大。例如，您可以使用如下计算的权重：w_class = 1.0/(number_of_samples_for_this_class)。
2. 样本平衡的小批量，其中两个类的数量相同。