本文主要讲解有关 A3C 算法的相关内容。
一、A3C 算法
直接引用莫烦老师的话来介绍 A3C 算法：Google DeepMind 提出的一种解决 Actor-Critic 不收敛问题的算法。它会创建多个并行的环境，让多个拥有副结构的 agent 同时在这些并行环境上更新主结构中的参数。并行中的 agent 们互不干扰，而主结构的参数更新受到副结构提交更新的不连续性干扰，所以更新的相关性被降低，收敛性提高。
除了上述提到的之外，在 A3C 算法中拥有副结构的 agent 还会定期地获取主结构的参数以更新自己的策略。A3C 算法实际上就是将 Actor-Critic 放在了多个线程中进行同步训练。可以想象成几个人同时在玩一样的游戏，而他们玩游戏的经验都会同步上传到一个中央大脑，然后他们又从中央大脑中获取最新的玩游戏方法。
下图是 A3C 网络结构的示意图：