randomForest 和 randomForestSRC 的深度和 OOB 误差

Question

这是我在 R 中的随机森林和 rfsrc 代码；无论如何在我的 R 代码中包含 n_estimators 和 max_depth 之类的 sklearn 版本？另外，我怎样才能像这样绘制 OBB 误差与树的数量？

set.seed(2234)
tic("Time to train RFSRC fast")
fast.o <- rfsrc.fast(Label ~ ., data = train[(1:50000),],forest=TRUE)
toc()
print(fast.o)

#print(vimp(fast.o)$importance)

set.seed(2367)
tic("Time to test RFSRC fast ")
#data(breast, package = "randomForestSRC")
fast.pred <- predict(fast.o, test[(1:50000),])
toc()
print(fast.pred)


set.seed(3)
tic("RF model fitting without Parallelization")
rf <-randomForest(Label~.,data=train[(1:50000),])
toc()
print(rf)
plot(rf)
varImp(rf,sort = T)
varImpPlot(rf, sort=T, n.var= 10, main= "Variable Importance", pch=16)

rf_pred <- predict(rf, newdata=test[(1:50000),])
confMatrix <- confusionMatrix(rf_pred,test[(1:50000),]$Label)
confMatrix

感谢您的宝贵时间。

Answer 1

你需要设置 block.size=1 ，并且注意采样是没有替换的，你可以查看 rfsrc 的小插图：

与 Breiman 的随机森林不同，这里的默认操作是采样 无需更换。因此袋外（OOB）在技术上意味着 样本外，但出于遗留原因，我们保留了 OOB 一词。

所以使用示例数据集，

library(mlbench)
library(randomForestSRC)
data(Sonar)
set.seed(911)
trn = sample(nrow(Sonar),150)
rf <- rfsrc(Class ~ ., data = Sonar[trn,],ntree=500,block.size=1,importance=TRUE)
pred <- predict(rf,Sonar[-trn,],block.size=1)
plot(rf$err.rate[,1],type="l",col="steelblue",xlab="ntrees",ylab="err.rate",
ylim=c(0,0.5))
lines(pred$err.rate[,1],col="orange")
legend("topright",fill=c("steelblue","orange"),c("test","OOB.train"))

在随机森林中：

library(randomForest)
rf <- randomForest(Class ~ ., data = Sonar[trn,],ntree=500)
pred <- predict(rf,Sonar[-trn,],predict.all=TRUE)

不太确定是否有更容易得到 ntrees 错误：

err_by_tree = sapply(1:ncol(pred$individual),function(i){
apply(pred$individual[,1:i,drop=FALSE],1,
function(i)with(rle(i),values[which.max(lengths)]))
})

err_by_tree = colMeans(err_by_tree!=Sonar$Class[-trn])

然后绘制：

plot(rf$err.rate[,1],type="l",col="steelblue",xlab="ntrees",ylab="err.rate",
    ylim=c(0,0.5))
    lines(err_by_tree,col="orange")
    legend("topright",fill=c("steelblue","orange"),c("test","OOB.train"))