如何在 h2o.performance 和验证矩阵之间解释 randomForest 中 RMSE 的值？

Question

我使用h2o package 运行随机森林。为了弄清楚我的模型是好是坏，我查找了RMSE。（模型按RMSE排序）

h2o.final1618.rf <- h2o.getModel(rf.sortedGrid.1618.2@model_ids[[1]])

h2o.final1618.rf@model$validation_metrics@metrics

h2o.final1618.rf@model$training_metrics@metrics

我可以通过验证指标和训练指标得到 RMSE 的值。 validation_metrics 的RMSE 的值为0.4526. training_metrics的RMSE的值为0.4571.

但是，我使用h2o.performance 函数或h2o.predict 函数来获取RMSE 的值，h2o.performance 的值是0.2852，它小于上述验证和训练指标的值。

perf <- h2o.performance(h2o.final1618.rf, newdata = h2o.incheon1618[[2]])

h2o.incheon1618[[2]] 是验证数据。（我拆分数据集 0.7 和 0.2 和 0.1；训练数据、验证数据、测试数据）

我不明白为什么会产生差异。

Answer 1

我相信，如果您将这些参数用于“性能”valid=TRUE, xval=FALSE 并忽略 newdata 参数，您将得到您所追求的。