为什么 Trust Region Policy Optimization 是 On-policy 算法？答案

【问题标题】：Why is the Trust Region Policy Optimization a On-policy algorithm?为什么 Trust Region Policy Optimization 是 On-policy 算法？
【发布时间】：2019-03-27 06:30:21
【问题描述】：

我想知道为什么 Trust Region Policy Optimization 是一种 On-policy 算法？

在我看来，在 TRPO 中，我们通过旧策略进行采样并更新新策略并应用重要性采样来纠正偏差。因此，它更像是一种离策略算法。但最近，我读到一个paper，上面写着：

与 off-policy 算法相比，on-policy 方法需要根据当前遵循的更新函数逼近器政策。特别是，我们将考虑信任区域 PolicyOptimization，传统策略梯度的扩展使用自然梯度方向的方法。

我有什么误解吗？

【问题讨论】：

标签： artificial-intelligence reinforcement-learning

【解决方案1】：

on-policy 方法的关键特征是它们必须使用估计的策略才能与环境交互。在信任区域策略优化的情况下，它使用当前策略有效地获取样本（即与环境交互），然后更新策略并在下一次迭代中使用新的策略估计。

所以，算法在学习过程中使用了估计的策略，也就是on-policy方法的定义。

【讨论】：

那么，PPO 算法也符合政策吗？
是的，它也符合政策。