棋盘游戏中的蒙特卡洛树搜索 - 如何实施对手移动

Question

我正在研究具有完美信息的零和棋盘游戏的 MCTS 算法的实现。例如。国际象棋、围棋、跳棋。

据我了解，在算法的每次迭代中，都有四个步骤：选择、扩展、模拟和反向传播。

我的问题是关于对手动作的执行，它应该如何在树中呈现，以及在每个阶段应该如何执行。

例如，让我们想象一个围棋游戏，我们（黑色）正在与 AI（白色）对战。当黑方从根节点s₀做一个动作a_b，然后转白做一个动作a_w。 p>

我最初的想法是每个动作都会产生一个新的状态。所以 s₀ -> a_b -> s₁ -> a_w -> s₂ ，其中每个 s 状态代表一个节点。但是，这会影响 MCTS 中的选择过程。在这种情况下，MCTS 不会倾向于探索糟糕的 a_w 动作吗？因为这将为黑色返回更好的奖励。

我认为的替代解决方案是将操作组合到一个节点中。所以 s₀ -> a_b -> a_w -> s₁。但是，这会使决策变得更加困难，因为每个根级别的操作现在都与多个不同的节点相关联。

是否有任何框架建议在 MCTS 中应如何代表对手？任何帮助将不胜感激。

编辑 1： 由于我们将在上面的示例中下黑棋，因此每次模拟结束时的奖励函数将与黑棋有关。例如。如果黑方在游戏结束时获胜，奖励将通过所有节点进行备份，包括黑白节点。我的期望是具有高状态值的白色节点（允许黑色获胜）。

但也许我应该在进行反向传播时翻转奖励？例如。如果黑色获胜，黑色节点为 1，白色节点为 -1。这样，选择功能保持不变。这是正确的吗？

Answer 1

您应该与已知的强大对手或算法本身对抗。

假设您使用自己的算法，将数据输入其中以找出“最佳”动作。确保算法适用于预期的一方（即，如果您下围棋/国际象棋，最简单的事情就是交换棋子的颜色）。

如果你和自己对战，你基本上会生成两倍的数据点来学习游戏。

如果您刚刚起步，可能值得与其他机器玩家对战。您没有获得太多数据点，但您获得的数据点会教给您更多信息（即学习不好的动作会更快）。

您可能希望先与一些合理的现有 AI 对战，然后转而与自己对战。