sklearn - 模型一直过拟合

Question

我正在寻找有关解决我当前机器学习问题的最佳方法的建议

问题的概要和我所做的如下：

• 我有 900 多次 EEG 数据试验，每次试验时长为 1 秒。每个人都知道基本事实，并对状态 0 和状态 1 进行分类（40-60% 分裂）
• 每个试验都经过预处理，我过滤并提取某些频段的功率，这些构成一组特征（特征矩阵：913x32）
• 然后我使用 sklearn 来训练模型。 cross_validation 用于我使用 0.2 的测试大小的地方。分类器设置为 SVC，带有 rbf 内核，C = 1，gamma = 1（我尝试了许多不同的值）

您可以在此处找到代码的简化版本：http://pastebin.com/Xu13ciL4

我的问题：

• 当我使用分类器为我的测试集预测标签时，每个预测都是 0
• 训练准确度为 1，而测试集准确度约为 0.56
• 我的学习曲线图如下所示：

现在，这似乎是这里过度拟合的经典案例。然而，这里的过度拟合不太可能是由于样本的特征数量不成比例（32 个特征，900 个样本）造成的。我已经尝试了很多方法来缓解这个问题：

• 我尝试过使用降维 (PCA)，以防我有太多的样本数量的特征，但准确度得分和学习曲线图看起来与上面相同。除非我将组件的数量设置为 10 以下，否则训练准确度会开始下降，但考虑到您开始丢失信息，这是否有点意料之中？
• 我已尝试对数据进行规范化和标准化。标准化 (SD = 1) 不会改变训练或准确度分数。归一化 (0-1) 将我的训练准确度降低到 0.6。
• 我为 SVC 尝试了各种 C 和 gamma 设置，但它们都不会改变任何一个分数
• 尝试使用 GaussianNB 等其他估计器，甚至使用 adaboost 等集成方法。没有变化
• 尝试使用 linearSVC 显式设置正则化方法，但没有改善情况
• 我尝试使用 theano 通过神经网络运行相同的特征，我的训练准确度约为 0.6，测试约为 0.5

我很高兴继续思考这个问题，但在这一点上，我正在寻找正确方向的推动力。我的问题可能出在哪里，我能做些什么来解决它？

我的一组功能完全有可能无法区分这两个类别，但在得出这个结论之前，我想尝试一些其他选项。此外，如果我的特征无法区分，那将解释测试集分数低的原因，但在这种情况下如何获得完美的训练集分数？这可能吗？

Answer 1

我会首先尝试在参数空间上进行网格搜索，但同时也在训练集上使用 k 折交叉验证（当然，将测试集放在一边）。然后选择一组参数，而不是从 k 折交叉验证中概括出最好的。我建议将GridSearchCV 与StratifiedKFold 一起使用（当将分类器作为估计器传递时，它已经是GridSearchCV 的default strategy）。

假设具有 rbf 的 SVM 可以完美拟合任何训练集，因为 VC 维度是无限的。因此，如果调整参数无助于减少过拟合，那么您可能需要针对更简单的假设尝试类似的参数调整策略，例如线性 SVM 或您认为可能适合您的领域的其他分类器。

如果可用的话，您提到的正则化绝对是一个好主意。

相同标签的预测让我认为标签不平衡可能是一个问题，对于这种情况，您可以使用不同的类权重。因此，在 SVM 的情况下，每个类都有自己的 C 惩罚权重。 sklearn 中的一些估计器接受拟合参数，允许您设置样本权重来设置单个训练样本的惩罚量。

现在，如果您认为特征可能是一个问题，我会通过查看 f_classif 提供的 F 值来使用特征选择，并且可以与 SelectKBest 之类的东西一起使用。另一种选择是使用交叉验证进行递归特征消除。如果您使用 sklearns Pipeline API，也可以将特征选择包装到网格搜索中。