带有 EC2 实例的 VPC 上的 AWS EMR

Question

我正在阅读 VPC 上的 AWS EMR，但似乎更多的是 AWS EMR 服务访问 EMR 集群以进行调用的设计考虑。

我想要做的是托管一个带有 ALB 和 EC2 实例的 VPC，该实例运行应用程序作为服务来访问 EMR 集群。

VPC -> Internet Gateway -> Load Balancer -> EC2 (Application endpoints) -> EMR Cluster 

我不希望集群可以从外部访问，除非通过 IG 的公共 IP。但是公共 IP 只能访问调用同一 VPC 上的 EMR 集群的 EC2 实例托管应用程序。

这是推荐的方法吗？

设计如下所示。 我正在解决的一些挑战是如果在 VPC 上，如何从 EMR 访问 S3， 如果应用程序在 EC2 上运行，它是否可以访问 EMR 集群，以及 EMR 集群是否可以公开使用？

欢迎提供任何指导链接或建议。

编辑：

或者，如果我在 VPC 上创建 EMR，是否需要将其包装在另一个 VPC 中，如下所示？

Answer 1

最简单的设计是：

• 将所有内容放在 VPC 的公共子网中
• 使用安全组控制对 EMR 集群的访问

如果你是安全偏执狂，那么你可以使用：

• 将可公开访问的资源（例如 EC2）放入 公共子网
• 将 EMR 放入 私有子网
• 使用 NAT 网关或 VPC 端点允许 EMR 与 S3（在 VPC 之外）通信

第一个选项更简单，安全组充当可以完全保护 EMR 集群的防火墙。您将创建三个安全组：

• ELB-SG： 允许在所需端口上从 Internet 进行入站访问。将安全组与您的负载均衡器相关联。
• EC2-SG： 允许来自 ELB-SG 的入站访问（来自安全组本身）。将安全组与您的 EC2 实例相关联。
• EMR-SG： 允许来自 EC2-SG 的入站访问（来自安全组本身）。将 EMR-SG 与 EMR 集群关联。

这将只允许负载均衡器与 EC2 实例通信，并且只允许 EC2 实例与 EMR 集群通信。由于默认规则允许出站访问，EMR 集群将能够直接连接到 Internet 以访问 Amazon S3。