如何训练 Actor-Critic (A2C) 强化学习

Question

我目前能够使用 Q-Learning 训练一个系统。我将把它移到 Actor_Critic (A2C) 方法。请不要问我为什么要这样做，我必须这样做。

我目前正在从https://github.com/higgsfield/RL-Adventure-2/blob/master/1.actor-critic.ipynb借用实现

问题是，我不断获得大约 50% 的成功率（这基本上是随机行为）。我的游戏很长（50 步）。我应该打印出奖励、价值还是什么？我应该如何调试这个？

这里有一些日志：

simulation episode 2: Success, turn_count =20
loss = tensor(1763.7875)

simulation episode 3: Fail,  turn_count= 42
loss = tensor(44.6923)

simulation episode 4: Fail,  turn_count= 42
loss = tensor(173.5872)

simulation episode 5: Fail,  turn_count= 42
loss = tensor(4034.0889)

simulation episode 6: Fail,  turn_count= 42
loss = tensor(132.7567)

loss = simulation episode 7: Success, turn_count =22
loss = tensor(2099.5344)

作为一个总体趋势，我观察到，对于 Success 情节，损失往往很大，而对于 Fail 情节，损失函数输出往往很小。

Answer 1

我认为你犯了一个错误，如果你真的想知道如何实现 Actor Critic 算法，你首先需要掌握 2 件事： - 实施基于价值的强化学习算法（例如 DQN）。 - 实现基于策略的 RL 算法（例如 Policy Gradients）。

你不能直接跳到actorcritic模型上，事实上你可以，但是如果你不能分别理解actor（基于策略）和critic（基于价值）你就什么都不懂.

这就像你想在开始学习绘画之前画 Joconde。

我的建议是，在实施 AC 代理之前花点时间了解这两个要素。

我用 tensorflow 制作了一个免费课程，并在此处完成实现 https://simoninithomas.github.io/Deep_reinforcement_learning_Course/

但同样，自己实现架构，如果你不真正了解架构，复制一个架构是没有用的。