为什么 AWS EMR 需要 2 个不同的安全组用于主节点和核心/任务节点？

Question

我正在设置 EMR 作业并发现我必须指定 Master 和 Core/Task 特定的安全组。有2个有什么意义？如果我在client 模式下运行——无论如何我只会使用主安全组。而且我相信如果我在cluster 模式下运行 EMR 作业，它应该只使用核心/任务的安全组，这不正确吗？

这至少是我的理解，因为当我在 client 或 cluster 模式之间进行选择时，它会告诉我：

在从属节点（集群模式）或作为外部客户端（客户端模式）的主节点上运行您的驱动程序。

Answer 1

根据Working With Amazon EMR-Managed Security Groups：

主节点上的安全组允许：

• 来自其他 Amazon EMR 集群的主节点的通信
• 来自核心和任务节点的通信
• 来自 AWS 集群管理器的通信以控制集群

核心/任务节点上的安全组允许：

• 来自其他核心和任务节点的通信
• 来自主节点的通信

通常，主节点上的安全组也会打开，以便您可以直接与其连接（例如运行命令行 Hive）。

对核心/任务节点的访问仅通过主节点完成。任何提交的作业都会先到主节点，然后再到核心/任务节点。