Cpp中的超参数优化？答案

【问题标题】：Hyper-parameter Optimisation in Cpp?Cpp中的超参数优化？
【发布时间】：2018-10-17 14:43:58
【问题描述】：

我需要为来自数据生成过程的数据拟合一个深度神经网络，想想 AR(5)。所以我每次观察有五个特征，每个模拟中有一个 y 用于一些大量的 N 观察。我只对每次模拟中表现最好的 DNN 的均方根误差感兴趣。

由于这是一个模拟设置，我必须进行大量此类模拟，并在每个模拟中为数据拟合一个神经网络。我能想到的唯一合理方法是通过给定每次模拟的超参数优化来拟合 DNN（dlib 的 find_min_global 将是我的优化器）。

用 C++（因为我不熟练，所以开发缓慢）或 Python（因为我相当熟练，所以迭代更快）做这个练习有意义吗？

从我现在的位置来看，C++ 或 Python 可能不会对执行时间产生太大影响，因为每次优化器提出新的超参数向量时都必须编译模型（我错了吗？）。如果可以编译一次，并测试下限和上限之间的所有超参数，那么 C++ 将是我的首选解决方案（这在任何开源 DNN 语言中都可能吗？）。

如果有人以前做过这个练习，请指教。

感谢大家的帮助。

【问题讨论】：

【解决方案1】：

看看你的问题，实现它的一种方法是使用遗传/进化算法。考虑到我正确理解了您的问题，您希望扫描所有超参数以获得最佳解决方案。

所以，我建议使用 python 和 tensorflow，keras 都支持这个。所以这可能不是问题。注意 - 如果我对您的问题的理解不同，请随时纠正我。

【讨论】：