从 GCP 项目连接到 AWS VPC 中的实例

Question

我正在考虑在我的工作场所建立混合云设置。现在，我们在 AWS 上的 Spark 集群上运行机器学习作业。我想要做的是能够从 GCP 上运行的 Airflow 作业连接到该集群，以便根据需要调用各种作业并执行其他任务。

不过，我不知道该怎么做。我可以为 Spark 集群创建一个公共 DNS，这样可以很容易地通过 Internet 从 GCP 进行连接，但我认为这对于安全性来说并不理想。

我是否需要在 GCP 项目（即 GCP VPC）和 AWS VPC 之间设置 VPN？如果是这样，我该怎么做？如果有办法通过 vanilla GCP 和 AWS 配置做到这一点，我不想使用 3rd 方产品。

基本上，我认为我需要让 GCP 上的工作能够看到 Spark 集群的内部 DNS 并能够使用它进行连接，但我还是不知道该怎么做。

Answer 1

有几个因素需要考虑。

1. VPC 寻址（CIDR 块）。它们不能重叠。
2. GCP 往返 AWS VPN。这很容易设置。
3. DNS 解析。两个 VPC 都有自己的 DNS。在 GCP 和 AWS VPC 之间设置转发器和解析器具有挑战性。我建议忽略此功能并尽可能使用私有 IP 地址。
4. 成本。您需要在双方都有一个 VPN 网关，该网关具有每小时成本和带宽成本。
5. 安全。两个 VPC 都有安全组规则。请注意路由规则，以免意外通过 VPN 发送 Internet 流量。

总结：

除了拆分 DNS 名称解析之外，您的要求很容易实现。仔细检查定价，以免您有任何意外。