【问题标题】:Choosing Hyperparameters - Grid Search选择超参数 - 网格搜索
【发布时间】:2023-03-09 12:30:01
【问题描述】:

在此example 中测试逻辑回归模型的惩罚和正则化参数。我不明白如何选择这些参数。例如,为什么要关注 (11,12) 或 (0,4)?这与我们拥有的数据有什么关系?

【问题讨论】:

    标签: python scikit-learn logistic-regression grid-search hyperparameters


    【解决方案1】:

    网格搜索的目的是寻找广义最优参数。

    For example why focus on (l1,l2) or (0,4)?
    

    惩罚参数和正则化参数影响分类边界。因此,为了找到最佳分类,重点是。

    How does this relate to the data we have?
    

    这些与我们拥有的数据没有直接关系。这个想法是,例如,我们必须选择“C”(正则化)参数,它给出了训练集和验证集之间的最小差异。这样模型就应该很简单,并且可以在未来的数据上泛化。

    一般来说,选择参数的范围,不是单次尝试基于之前的迭代,范围可以根据模型性能扩大。

    【讨论】:

    • 使用新数据集时,我可以选择 (10,17) 而不是 (0,4)。但如果这个选择不依赖于我拥有的数据,我可能会花很长时间尝试这么多不相关的值,直到我得出某个值,最终可能甚至不是最好的值。这种情况该怎么办?
    • 更多关于正则化参数stackoverflow.com/questions/22851316/…
    猜你喜欢
    • 2018-05-12
    • 2016-07-12
    • 2019-10-15
    • 1970-01-01
    • 2015-06-26
    • 2021-08-24
    • 2018-11-08
    • 2021-02-07
    • 1970-01-01
    相关资源
    最近更新 更多