“进化策略作为强化学习的可扩展替代方案”中的方程式是如何得出的？

Question

在 OpenAI 论文“Evolution Strategies as a Scalable Alternative to Reinforcement Learning”中，第 3 页中的等式是如何推导出来的？

Answer 1

它不是“派生的”，因为这个方程不是从论文中提出的前一个方程自然发展而来的。

这个公式演示了作者如何选择应用随机梯度上升。这是他们使用的算法的数学表示。

在该等式的正下方，他们解释了它的工作原理：

生成的算法重复执行两个阶段：1) 随机扰动策略的参数并评估 通过在环境中运行一个情节得到的参数，以及 2）结合这些情节的结果，计算随机 梯度估计，并更新参数。

从头开始重新开始论文并非常缓慢而仔细地阅读可能会有所帮助。如果您遇到任何没有意义的内容，请查一下，在您理解作者试图告诉您的内容之前不要继续阅读论文。