使用多个分类器时 - 如何衡量集成的性能？ [SciKit 学习]

Question

我有一个分类问题（预测一个序列是否属于一个类），为此我决定使用多种分类方法，以帮助过滤掉误报。

（问题在于生物信息学 - 将蛋白质序列分类为神经肽前体序列。Here's the original article 如果有人感兴趣，and the code used to generate features and to train a single predictor）。

现在，分类器具有大致相似的性能指标（在 10 倍 CV 的训练集上具有 83-94% 的准确度/精度/等等），所以我的“幼稚”方法是简单地使用多个分类器（随机森林、 ExtraTrees、SVM（线性核）、SVM（RBF 核）和 GRB），并使用简单多数票。

我的问题是： 如何获得不同分类器的性能指标和/或其投票预测？ 也就是说，我想看看使用多个分类器是否能提高我的性能，或者它们的哪种组合能提高。

我的直觉可能是使用 ROC 分数，但我不知道如何“组合”结果并从分类器的组合中得到它。 （也就是说，仅查看每个分类器的 ROC 曲线是什么 [已经知道]，然后使用分类器组合查看训练数据的 ROC 曲线或 AUC）。

（我目前使用随机森林和 ExtraTrees 方法使用“预测概率”过滤预测，然后我任意过滤预测分数低于“0.85”的结果。另外一层过滤是“有多少分类器同意这一点蛋白质的阳性分类”）。

非常感谢！！

（website 实现，我们使用多个分类器 - http://neuropid.cs.huji.ac.il/）

整个 shebang 是使用 SciKit learn 和 python 实现的。引用和所有！）

Answer 1

要评估集成的性能，只需按照与通常相同的方法进行即可。但是，您需要首先获得 10 折数据集分区，并且对于每个折，在同一折上训练所有集成，测量准确度，冲洗并重复其他折，然后计算集成的准确度。因此，关键区别在于在评估集成时不使用 k 折交叉验证来训练单个算法。重要的是不要让 ensemble 直接看到测试数据，也不要让其中一种算法看到测试数据。

还要注意，RF 和 Extra Trees 本身已经是集成算法。

另一种方法（再次确保集成方法）是获取分类器输出的概率和 \ 或标签，并将它们输入另一个产生预测的分类器（例如 DT、RF、SVM 或其他分类器）通过结合来自这些其他分类器的最佳猜测。这被称为"Stacking"

Answer 2

您可以使用线性回归进行堆叠。对于每 10 倍，您可以使用以下方式拆分数据：

• 8 个训练集
• 1 个验证集
• 1 个测试集

使用训练集和验证集优化每个算法的超参数，然后使用线性回归（或逻辑回归）在验证集上叠加您的预测。你的最终模型将是 p = a_o + a_1 p_1 + … + a_k p_K，其中 K 是分类器的数量，p_k 是模型 k 给出的概率，a_k 是模型 k 的权重。如果模型没有给出概率，您也可以直接使用预测结果。

如果您的模型相同，您可以同时优化模型的参数和权重。

如果你有明显的差异，你可以为每个不同的参数做不同的 bin。例如，一个 bin 可以是短序列，而另一个 bin 可以是长序列。或不同类型的蛋白质。

您可以使用任何您想要的指标，只要它有意义，例如非混合算法。

您可能想查看 2007 年 Belkor 的 Netflix 挑战解决方案，混合部分。 2008年和2009年他们使用了更先进的技术，你可能也会感兴趣。