如何处理这种不平衡的倾斜数据集？

Question

我必须处理Class Imbalance Problem 并对输入测试数据集执行binary-classification，其中大部分类标签在训练数据集中为 1（另一个类标签为 0）。

例如，以下是部分训练数据：

93.65034,94.50283,94.6677,94.20174,94.93986,95.21071,1
94.13783,94.61797,94.50526,95.66091,95.99478,95.12608,1
94.0238,93.95445,94.77115,94.65469,95.08566,94.97906,1
94.36343,94.32839,95.33167,95.24738,94.57213,95.05634,1
94.5774,93.92291,94.96261,95.40926,95.97659,95.17691,0
93.76617,94.27253,94.38002,94.28448,94.19957,94.98924,0

最后一列是class-label - 0 或1。实际数据集与 10:1 的类比率非常偏斜，即大约 700 个样本的 class label 为 0，而其余 6800 个样本的 class label 为 1。

上述只是给定数据集中所有样本中的一小部分，但实际数据集中包含90% 的样本，class-label 为1，其余为@987654334 @ 成为0，尽管所有样本或多或少都非常相似。

哪个分类器最适合处理这种数据集？

我已经尝试过logistic-regression 和svm，将class-weight 参数设置为"balanced"，但准确率没有明显提高。

Answer 1

但准确度没有明显提高。

准确性不是要走的路（例如，请参阅Accuracy paradox）。通过 10:1 的类比率，您只需始终预测 class-label 0，即可轻松获得 90% 的准确率。

一些好的起点是：

• 尝试不同的性能指标。例如。 F1-score 和 Matthews correlation coefficient

• “重新采样”数据集：从代表性不足的类中添加示例（over-sampling）/从过度代表性的类中删除实例（under-sampling em>；你应该有很多数据）

• 不同的观点：anomaly detection 是不平衡数据集的一个很好的尝试

• 不同的算法是另一种可能性，但不是银芽。可能你应该从decision trees 开始（通常在不平衡的数据集上表现良好）

---

编辑（现在知道您正在使用scikit-learn）

class_weight (scikit-learn) 参数的权重用于训练分类器（所以balanced 没问题），但准确率对于了解它的性能来说是一个糟糕的选择。

sklearn.metrics 模块为measure classification performance 实现了几个损失、得分和效用函数。也可以看看How to compute precision, recall, accuracy and f1-score for the multiclass case with scikit learn?。

Answer 2

您是否尝试过绘制 ROC 曲线和 AUC 曲线来检查您的参数和不同的阈值？如果不是，那应该给你一个很好的起点。