【问题标题】:Is it possible in deep learning to train on a subset of training set in order to find the best hyper-parameters?在深度学习中是否可以在训练集的子集上进行训练以找到最佳超参数?
【发布时间】:2022-01-24 22:17:37
【问题描述】:

在经典机器学习中,通过在一小部分训练集上训练不同配置来搜索超参数的情况并不少见。通常,对于每组超参数,在一小部分训练集上进行 k 折交叉验证。然而,在深度学习中,模型通常非常需要数据。

那么,我的问题是,您认为在深度学习中仍然可以使用相同的策略吗?你的经验是什么?

【问题讨论】:

  • 对于任何具有正则化参数的机器学习方法来说,这可能不是一个特别好的做法,因为所需的正则化量取决于训练集的大小。有一些方法可以近似地弥补这一点,但这只是一个近似值。

标签: python tensorflow neural-networks conv-neural-network


【解决方案1】:

是的,但正如您所注意到的,深度学习模型通常最适合处理大样本。所以你的子集也需要很大。如果数据不足,模型会表现不佳,并且无助于超参数调优。

【讨论】:

    猜你喜欢
    • 2016-01-03
    • 1970-01-01
    • 2020-06-12
    • 2020-01-16
    • 1970-01-01
    • 2020-05-21
    • 2022-08-15
    • 2020-06-08
    • 2019-05-11
    相关资源
    最近更新 更多