损失权重在 Tensorflow 中是如何工作的？答案

【问题标题】：How do the loss weights work in Tensorflow?损失权重在 Tensorflow 中是如何工作的？
【发布时间】：2018-11-13 23:30:55
【问题描述】：

我正在针对代表性明显不足的目标类训练循环二元分类器。假设我们的目标类 1 代表我们拥有的所有训练数据的 99%。为了更多地惩罚模型错误预测少数类，我想在损失函数中使用权重。对于每个小批量，我创建了一个相应的小批量权重，其中我们的目标类的权重标量 >1.0，我们的多数类相应地

loss_sum = 0.0
for t, o, tw in zip(self._targets_uns, self._logits_uns, self._targets_weight_uns):
    # t -- targets tensor [batchsize x 1], tw -- weights tensor [batchsize x 1]
    # e.g. [0, 0, 0, 0, 1, 1, 0] -- [0.5, 0.5, 0.5, 0.5, 2.0, 2.0, 0.5]
    _loss = tf.losses.sigmoid_cross_entropy(t, o, weights=tw, label_smoothing=0,
                                scope="sigmoid_cross_entropy",
                                loss_collection=tf.GraphKeys.LOSSES)
    loss_sum += _loss

模型训练好后，我检查预测准确率，发现它比没有权重的准确率略低。我继续尝试尝试[1.4, 0.8], [1.6, 0.4], [4.0, 0.1], [3.0, 1.0], ... 等重量对。但是，除了低 2-3% 的边际差异之外，我没有比未加权训练有任何改进。好的，也许我误解了 tf.losses.sigmoid_cross_entropy 函数的文档。

权重作为损失的系数。如果提供了标量，则损失只是按给定值缩放。如果 weights 是一个形状为 [batch_size] 的张量，则损失权重适用于每个对应的样本。

我只是颠倒这些对，对 0 类使用较高的权重，对 1 类使用较低的权重：[0.5, 2.0], [0.8, 1.3], [0.2, 1.0], ...。除了比未加权版本略差之外，这也没有提供任何改进。

有人可以向我解释一下加权损失的行为吗？我做得对吗？我应该怎么做才能提升少数族裔的权重？

【问题讨论】：

可能你的体重不够大。根据具体情况，可能需要在权重之间进行更显着的差异。尝试一些夸张的东西（比如 1000 代表代表性不足的班级，1 代表其余班级），看看这是否真的使模型有偏差。

标签： python tensorflow machine-learning

【解决方案1】：

加权是一种通用数学技术，用于求解Wx=y 形式的过度指定方程组，其中x 在输入向量中，y 是输出向量，W 是变换矩阵你想找到。通常，这些问题可以使用 SVD 等技术来解决。 SVD 将通过最小化过度指定系统的least-squared error 来找到W 的解决方案。 TensorFlow 基本上是通过其最小化过程来解决类似的问题。

在您的情况下，发生的情况是您有 1 个 A 类样本和 99 个 B 类样本。由于求解过程可最大限度地减少总体误差，因此 B 类对解决方案的贡献是类的 99 倍A 的 1. 为了解决这个问题，你应该调整你的权重，使 A 类和 B 类对解决方案的贡献均匀，即.. 将 B 类权重降低 0.01。

更一般地你可以这样做......

ratio = num_B / (num_A + num_B)
weights = [ratio, 1.0 - ratio]

【讨论】：

所以说清楚一点，B 类=6,000,000，A 类=61,000, 61000/(6000000+61000) 权重= [0.01,0.99]？
向后看。我想你想要 [0.99, 0.01]
尽管我理解直觉，但将目标类的权重设置为 [0.99, 0.01] 会使整体模型变差 3%，我无法击败未加权的系统。
这种方法“应该”等价于使用 A 类样本的 N 个额外副本进行训练。您可以尝试制作这些样本的大约 100 倍副本，以便有等量的 A 类和 B 类数据。如果这给您带来大致相同的结果，那么我认为您已经验证平衡数据不会有帮助。