了解 MCTS 节点选择

Question

我目前正在尝试为我的一个项目实施 MCTS，但我不确定我是否正确理解节点选择的想法。在游戏开始时，我随机选择一个动作后，将整棵树展开到游戏结束的点，然后进行反向传播，这个节点显然比其他所有节点都好，因为它是 1/1（如果我们赢了）与他们的 0/0。 MCTS 如何逃离这个陷阱而不被随机选择的节点卡住？

我的意思是，如果我们使用 UCB 来寻找要扩展的最佳节点，它总是会选择我们首先选择的节点（假设它会导致胜利）完全忽略所有其他节点，因为它将是唯一一个非零值。我在这里错过了什么，因为显然不是这样？

Answer 1

每次你在一个节点，你都根据这些规则展开一个节点：

• 如果之前从未展开过子节点，则随机展开其中一个未展开的子节点（您可以立即从此子节点展开）
• 否则，每个子节点都至少被访问过一次。为所有这些计算“探索/利用”值并展开具有最高值的子节点

MCTS 的理念是最大化探索/开发。如果一个子节点以前从未被探索过，与之相关的“探索”值是无限的，你将不得不探索它。但是，一旦你展开了所有子节点，那么你会更频繁地展开价值更高的子节点（这是“利用”部分）