寻找全局最小值

Question

我有一个神经网络，正在努力寻找全局最小值。我想知道找到它的正确方法。我知道我需要更改超参数，但是因为您使用随机权重，我是否尝试多次使用相同的超参数？在我放弃之前，我尝试了多少种不同的组合？

任何实用的建议都将不胜感激。

Answer 1

这是基于梯度下降的优化的主要缺点。他们总是陷入局部最小值，并且没有方法可以保证全局最小值解决方案。

您可以使用诸如动量之类的术语来帮助您克服一些局部最小值。我建议尝试一些更高级的优化技术。这些会对您有所帮助，因为它们会自动选择和更新其中一些超参数。

您也可以在此处查看this 帖子，其中比较了几种优化算法。

Answer 2

我认为没有办法为具有梯度下降的 NN 找到全局最小值（假设您使用的是这种方法）。我认为您可以使用 SVM 找到它。

我不是机器学习专家，所以我可能是错的。