【发布时间】：2018-07-17 06:49:11
【问题描述】：
我想在 H2O 堆叠集成中找到训练数据的集成性能。在链接 -python 代码中，它显示了测试数据的性能（AUC），但是，我需要查看训练数据的性能（每个折叠结果的平均值）。有没有可用的选项来做到这一点？ code
【问题讨论】：
-
谢谢@Lauren。是的，我指的是这个链接。
标签： python cross-validation h2o ensemble-learning
【发布时间】：2018-07-17 06:49:11
【问题描述】：
如果您想获得训练数据的性能，您可以输入集成对象并按回车键
ensemble
它会给你所有的指标，或者你可以做
ensemble.auc()
这将默认为训练指标。 （代码示例 sn-p 可以找到here）。
（但是，快速说明，要了解集成的性能，您应该真正查看新测试数据集或交叉验证指标的性能。训练评估指标（在您的情况下为 AUC）不是会告诉你你的模型在新数据上的泛化效果如何。）
【讨论】：
-
非常感谢@Lauren。是的，就我而言，训练数据的 AUC 约为 99.99 %（K = 5 的交叉验证结果）。令人惊讶的是，它比我之前探索的其他 ML 方法要好得多。我理解，只是训练数据的性能对于看不见的数据/测试数据会有所不同。
-
非常感谢@Lauren。如果我是正确的 ensemble.auc () 显示训练数据的 AUC 值（不是交叉验证的 AUC）。要获得交叉验证指标，即 AUC，我必须写
ensemble.auc(xval = True)并进行交叉验证性能我要写ensemble.model_performance(xval=True)。
然而，对于基础学习者，它可以工作，但对于堆叠的集成，它没有显示。请看代码：(imgur.com/D2lkaPu)。 -
似乎我们无法评估交叉验证数据上的堆叠集成。有什么建议，因为我需要比较基础学习者和堆叠集成的交叉验证结果（即 AUC）？