罗伯塔无法在句子对分类中学习和预测正类

Question

我正在使用 Roberta 训练一个句子对二元分类模型，但该模型无法学习正类（标签为 1 的类）。我的数据集不平衡，因此：

训练数据 -
0 --- 140623
1 --- 5537

验证数据 -
0 --- 35156
1 --- 1384

训练在验证数据上产生 0 个真阳性和 0 个假阳性。评估时，我计算了宏F1，但是训练时如何处理类不平衡？有几篇文章提到，BERT 自己会处理不平衡。但在我的情况下似乎没有发生这种情况。

我正在使用this 数据集。

任何帮助表示赞赏。

Answer 1

如果您使用的是 Tensorflow，您可以为数据或类添加权重。这样您就可以保持多样性并平衡损失：https://datascience.stackexchange.com/questions/13490/how-to-set-class-weights-for-imbalanced-classes-in-keras

我没有使用 pytorch，但我认为有一些等价物。