R中的“堆叠”（集成）模型 - 零训练错误？答案

【问题标题】："Stacking" (Ensemble) Models in R - Zero Training Error?R中的“堆叠”（集成）模型 - 零训练错误？
【发布时间】：2021-02-04 00:33:41
【问题描述】：

作为一项学习练习，我正在尝试手动编写代码（在 R 中），以将不同的机器学习模型“堆叠”（集成）在一起（目标是二进制响应分类）。我从 R 中获取了流行的“声纳”数据集：我首先获取一些训练数据并将其提供给“随机森林”算法以及“ada boost”算法。我从这两种算法中获取输出概率，然后将其提供给“xgboost”算法进行最终预测。出于某种原因，这导致模型的训练误差为 0。这不可能。

谁能告诉我我做错了什么以及如何解决这个问题？我在下面附上了我的代码。

library (mlbench)
library (randomForest)
library(ada)
library(xgboost)
library(caret)

数据（声纳）

     index = createDataPartition(y=Sonar$Class, p=0.75, list=FALSE)
     train_set = Sonar[index,]
     test_set = Sonar[-index,]
    
    ########Fit Random Forest
    model_rf = randomForest(Class~., train_set, mtry = 12, ntree=500, prob=TRUE)
    model_rf
    
    ####### Fit ada model
    model_ada = ada(train_set[,-61],train_set$Class, nu=0.01, iter = 100, type="discrete")
    model_ada
    
    ######### Predict on train data
    
    pred_train_rf = predict(model_rf,train_set[,-61], type="prob")
    pred_train_ada = predict(model_ada,train_set[,-61], type="prob")
    
    ######### Append predicted probabilities to the trainset : for class "M"
    
    train_set$pred_rf = pred_train_rf[,1]
    train_set$pred_ada = pred_train_ada[,1]
    
    ############# Fit xgboost model on the predicted probabilities of earlier two models
    
    data_matrix <- as.matrix(train_set[,c(62:63)])
    output_vector = as.vector(ifelse(train_set$Class == "M",1,0))
    
    model_xgboost <- xgboost(data = data_matrix, label = output_vector, max.depth = 2,
                    eta = 1, nthread = 2, nrounds = 10,objective = "binary:logistic")
    
    ######################################### 
    [1] train-error:0.000000 
    [2] train-error:0.000000 
    [3] train-error:0.000000 
    [4] train-error:0.000000 
    [5] train-error:0.000000 
    [6] train-error:0.000000 
    [7] train-error:0.000000 
    [8] train-error:0.000000 
    [9] train-error:0.000000 
    [10]    train-error:0.000000

谢谢。

【问题讨论】：

请让您的示例可重现。 data(Sonar) 会报错
@Robert Wilson：现在可以用了吗？

标签： r machine-learning random-forest xgboost ensemble-learning

【解决方案1】：

这里的行为是出乎意料的。 RandomForest 总是过度拟合训练数据。

您可以通过在训练数据上计算出 RF 模型的准确性来看到这一点。

model_rf = randomForest(Class~., train_set, mtry = 12, ntree=500, prob=TRUE)
mean(predict(model_rf, data = train_set) == train_set$Class)

几乎每次运行代码时，这都是 100% 准确的。因此，如果我是正确的，您或多或少地使用 Class 来预测您的 xgboost 代码中的 Class。

您需要做的是稍微改变一下工作流程。不要使用 data_matrix 的训练数据，而是使用 test_data。那应该做的工作。您还需要编写一个循环并多次执行此操作，以获得更现实的可预测性概念，因为小型数据集可能会在任何准确度测量中产生大量噪音。

【讨论】：