Python 中的集合答案

【问题标题】：Ensembles in PythonPython 中的集合
【发布时间】：2017-03-31 05:48:01
【问题描述】：

我在 Python 中使用 scikit-learn 实现了 4 个分类器。但是，所有这些的表现都不是很好。我想实现这些分类器的集合。我在 scikit-learn 上查找了合奏，但它有随机森林和 Adaboost。我应该如何创建一个弱分类器的集合？

【问题讨论】：

【解决方案1】：

你有不同的方法来使用你的弱分类器创建一个集成：

-Bagging：可以平均4个分类器的输出。

-Stacking：您的最终输出可能是 4 个单独输出的线性组合。您可以将 4 个模型的输出用作另一种算法的输入，也可以通过选择准确度更高的模型直接使用不同的权重。

【讨论】：

根据各个分类器的准确率线性组合分配权重是否公平？
在决定 0 或 1 之前，您需要分类器的输出（例如在线性模型中 output=x*w+b），您可以创建一个输出为 output=w1*output1 的新模型+w2*输出2+w3*输出3+w4*输出4+b。然后使用与用于训练单个模型的数据不同的数据来选择 W1、W2、W3、W4 和 b。
你能告诉我如何在python中制作这个吗，我有六个特征子集，我为每个特征子集尝试多个分类器，为每个分类器找到最合适的算法......我现在的问题是如何使用集成分类器（如 bagging、adaboost、voting 等）将它们组合起来