我无法理解on-policy 方法（如A3C）和off-policy 方法（如DDPG）之间的根本区别是什么。据我所知，off-policy 方法可以学习最优策略，而不管行为策略如何。它可以通过观察环境中的任何轨迹来学习。因此，我可以说离策略方法比在策略方法更好吗？
我已经阅读了cliff-walking example，其中显示了SARSA 和Q-learning 之间的区别。它说Q-learning 将学习沿着悬崖行走的最优策略，而SARSA 将学习在使用epsilon-greedy 策略时选择更安全的方式。但是既然Q-learning已经告诉我们最优策略了，那我们为什么不按照那个策略继续探索呢？
另外，两种学习方法是否存在一种优于另一种的情况？在哪种情况下，人们会更喜欢 on-policy 算法？
【问题讨论】：
标签： reinforcement-learning q-learning
正如您已经说过的，off-policy 方法可以学习最优策略，而不管行为策略如何（实际上行为策略应该具有一些属性），而 on-policy 方法需要代理按照正在学习的策略进行操作。
想象一下，您有一个轨迹数据集（即元组(s,a,r,s') 形式的数据）之前存储的情况。此数据是应用给定策略收集的，您无法更改它。在这种常见于医疗问题的情况下，您只能应用非策略方法。
这意味着off-policy方法更好？不一定。可以说，off-policy 方法在他们可能面临的问题类型上更加灵活。但是，从理论的角度来看，它们具有不同的特性，有时很方便。例如，如果我们比较 Q-learning 和 SARSA 算法，它们之间的一个关键区别是 Q-learning 更新规则中使用的max 运算符。该算子是高度非线性的，这会使算法与函数逼近器的结合变得更加困难。
什么时候最好使用 on-policy 方法？好吧，如果您面临连续状态空间的问题，并且您有兴趣使用线性函数逼近器（例如 RFB 网络）。然后使用on-policy方法更稳定。您可以在 Sutton 和 Barto 的书中的Section off-policy bootstrapping 中找到有关此主题的更多信息。
【讨论】：