【发布时间】：2020-07-29 16:05:48
【问题描述】：
我正在使用 Adam 优化器训练一个深度网络。对于单个隐藏层，我曾经进行统计计算（相关系数、MSE 等）并绘制它们以选择最佳隐藏节点数。是否有任何方法可以为更深的网络选择最佳结构？ （除了反复试验。）
【问题讨论】：
标签： keras deep-learning artificial-intelligence
【发布时间】：2020-07-29 16:05:48
【问题描述】：
超参数优化仍然是一个悬而未决的问题，它主要通过反复试验来完成，尤其是在神经网络的情况下。
除了监控性能（欠拟合/过拟合）等一些通用准则外，您无能为力（如果您有更好的解决方案，现在可以轻松推销它，只需在 google 上搜索付费超参数优化服务，你会看到它一天天增长）。
话虽如此，您无需手动执行搜索（手动更改神经网络/训练/重复的结构）。 ML 库（例如 Keras 和许多其他库）提供某种超参数网格搜索，您可以在其中为要优化的超参数设置值/范围，并让网格搜索找到最佳解决方案（在您定义的值范围内是最佳的，所以如果配置不正确，它可能根本不是最佳的）。
如果是 Keras，您可以使用keras tuner。
当然，运行调谐器可能会非常昂贵（取决于网络的复杂性）。
【讨论】：