超参数估计的随机搜索和网格搜索的比较

Question

我想进行超参数调整，为此，我想使用 RandomizedSearchCV 或 GridSearchCV。我尝试运行随机森林分类器的两种方法。

我发现网格搜索将搜索我的参数网格的所有可能组合，但随机搜索仅搜索 10 种可能的组合。假设它采用任意 10 个随机参数集，它可能会给我错误的最佳参数。另一方面，如果我使用 GridSearch 方法，那么它会给我很大的运行时间。现在，我对这两种方法感到困惑。我应该使用哪个？或者我可以做一些改变，在可接受的运行时给我最好的参数吗？

Answer 1

超参数调整方案取决于您的应用程序。至于网格搜索和随机搜索：

• 当您拥有少量超参数并且每个超参数对验证分数的影响程度大致相同时，网格搜索效果很好

• 当影响的大小不平衡时，随机搜索是更好的选择，随着参数数量的增加，这种情况更有可能发生

来源：deeplearning.ai hparam 调优课程here

其他调优方案包括

• Coarse to Fine 粗略：使用网格的样本首先粗略搜索超参数空间，并集中验证分数较高的样本
• 使用高斯过程进行贝叶斯优化：here