【发布时间】：2018-06-07 14:05:55
【问题描述】：
H2O 如何确定基础学习者的权重？对于经验。在example 中，所有基础学习者的权重都相同吗？我有机会在 metalearner_algorithm 中使用正则化参数（例如岭）吗？避免过度拟合的最佳方法是什么？
【问题讨论】：
标签： python h2o ensemble-learning
【发布时间】：2018-06-07 14:05:55
【问题描述】：
堆叠集成的主要思想（以及它与其他类型集成的区别，例如随机森林、GBM、simple averaging of confidences）是它使用另一种机器学习模型来确定如何加权基础学习器。 （另一个模型是元学习器。）
对于第二个问题，您目前无法指定任何参数，但有a ticket for it，因此很有可能在未来几个月内可用。
同时，我想说的是，注意基础模型中的过度拟合比元学习器中的正则化更重要。
【讨论】：
-
在集成建模时，过拟合的基础模型是好是坏？
-
@Brad 这是一个有趣的问题。在我上面的回答中，我的意思是“避免在基本模型中过度拟合，这很糟糕”。但是你可以想象这样一种情况，元学习者可以了解到基础模型（略微）过度拟合，并使用它来提供更好的集成。
-
谢谢。我使用插入符号 selectionFunction = 容差来适合我的基础学习者。然后通过惩罚逻辑回归将仅使用概率列的模型与所有交互项结合起来。使用 1 个训练集、1 个元训练集和 1 个保留集。与我有关的偏见是我的人脑，因为我看到了保留集中发生的情况，然后我返回并更改特征部分并适合选择标准（一个 SE、公差等）。代码中不存在偏差。我真的需要 2-holdout 集来减轻这种偏见。第二组只允许一次尝试。
-
我通过集成建模学到的另一件事是，有时更多的基础学习者可以做得很好，即使回报正在减少，他们也可以提供一些东西。例如，如果元训练集只有 100 行。 2 个基础学习者会给出 200 个数据点 - 但 5 个基础学习者会给出 500 个数据点。从而即使在数据有限的情况下也能稳定逻辑回归。