GCP Dataproc 可以从本地数据库获取数据（或在其上运行其他作业）吗？

Question

GCP Dataproc sqoop 可以从本地数据库导入数据放入 GCP 存储（没有 GCP VPC）吗？

我们有一个远程 Oracle 数据库通过 VPN 隧道连接到我们的本地网络，我们使用 Hadoop 集群通过 Apache Sqoop 每天提取数据。想用 GCP Dataproc 集群替换这个进程来运行 sqoop 作业和 GCP 存储。 发现这篇文章似乎在做类似Moving Data with Apache Sqoop in Google Cloud Dataproc 的事情，但它假设用户拥有 GCP VPC（我不打算购买）。

所以我的问题是：

• 如果没有此 VPC 连接，云 dataproc 集群是否知道如何使用 job submission API 从我们本地网络上的数据库中获取数据？
• 如果是这样，这将如何工作（也许我对 Hadoop 作业的工作方式/获取数据的理解不够充分）？
• 如果没有，还有其他方法吗？

Answer 1

如果不使用 VPC/VPN，您将无法授予 Dataproc 对本地数据库的访问权限。

如果能更好地满足您的需求，您可以使用 VPN，而不是使用 VPC：https://cloud.google.com/vpn/docs/

您唯一的其他选择是将本地数据库打开到 Internet，这样 Dataproc 就可以在没有 VPC/VPN 的情况下访问它，但这本质上是不安全的。

Answer 2

在这种情况下，在本地安装 GCS 连接器可能会起作用。它不需要 VPC/VPN。