将两个不同的分类器组合成 scikit-learn python

Question

我得到如下数据集：-

patient id-1

Heart rate pattern-82 82 87 87 89 90 89 89 89 89

Blood pressure-110 71

Body temperature-37.2

SPO2-94

Sex-0

Age-8

Hereditary-1

Smoking-0

Alcohol Intake-0

Physical Activity-1

Diabetes-0

Blood Cholesterol-0

Obesity BMI-17.5

Status-0

（1=坏（真），0=好（假））

对于心率模式

>>>est = AdaBoostClassifier()
>>>est.fit(X_train,y_train)
>>>predictions = est.predict(X_test)
>>>r2_score(y_test,predictions)
0.46999999999999997

其余数据

>>>est = RandomForestClassifier(verbose=2)
>>>est.fit(X_train,y_train)
>>>predictions = est.predict(X_test)
>>>r2_score(y_test,predictions)
0.9

我只有 264 个用于训练和测试的测试数据。通过在 sklearn 中使用 AdaBoostClassifier() 仅挖掘 心率模式，我获得了 0.46999999999999997 的准确度。对于数据集的其余部分，我使用 RandomForestClassifier(verbose=2) 获得了 0.9 的准确度。

现在我需要将这两个结果组合成一个预测结果。由于心率是一个时间序列，我无法立即将这两个结果结合起来。连接这两个结果的最佳方法是什么？

Answer 1

要结合输出类别分配概率的两个分类器的分类（通过predict_proba 方法），您可以对概率进行平均（可能带有一些权重），然后将argmax 与平均预测类别概率相比较以进行最终预测.

注意：predict_proba 输出的其他列的顺序取决于分类器的classes_ 属性。

Answer 2

您还可以使用 sklearn VotingClassifier 自动执行此操作，以组合不同的机器学习分类器，并从所有分类器中预测“投票最多”的输出。

在你的例子中：

from sklearn.ensemble import VotingClassifier

est_AB = AdaBoostClassifier()
score_AB=est_AB.fit(X_train,y_train).score(X_test,y_test)

est_RF = RandomForestClassifier()
score_RF=est_RF.fit(X_train,y_train).score(X_test,y_test)

est_Ensemble = VotingClassifier(estimators=[('AB', est_AB), ('RF', est_RF)],
                        voting='soft',
                        weights=[1, 1])

score_Ensemble=est_Ensemble.fit(X_train,y_train).score(X_test,y_test)

voting='soft' 在对所有模型的预测求和后将标签预测为具有最大概率的标签。 voting='hard' 按照多数投票规则预测标签，即模型预测的模式。

在此处查看更多信息http://scikit-learn.org/stable/modules/ensemble.html#voting-classifier 在这里http://scikit-learn.org/stable/modules/generated/sklearn.ensemble.VotingClassifier.html