Databricks 工作人员和 Elasticsearch 节点是否需要位于 AWS 的同一个 VPC 中？

【问题标题】：Do Databricks workers and Elasticsearch nodes need to be in the same VPC in AWS?Databricks 工作人员和 Elasticsearch 节点是否需要位于 AWS 的同一个 VPC 中？
【发布时间】：2020-04-08 00:12:07
【问题描述】：

我想从 Databricks 中将数据帧写入 Elasticsearch。

我的 Elasticsearch 集群托管在 AWS 上，Databricks 正在启动具有特定角色的 EC2 实例。该角色有权与我的 Elasticsearch 集群进行交互但由于某种原因，我似乎甚至无法 PING Elasticsearch 集群。

我是否需要想办法将我的 Databricks 工作人员和我的 Elasticsearch 集群压缩到同一个 VPC 中？ 听起来像是 CloudFormation 的噩梦。

【问题讨论】：

标签： amazon-web-services elasticsearch databricks elasticsearch-hadoop

【解决方案1】：

如果您有 ES 在另一个 VPC 中运行，那么您将需要 private link 或 peering 以确保工作人员可以访问它。为了隔离和避免您的工作人员的 IP 限制问题，最好将 ES 和 DB 保留在不同的 VPC 中。

【讨论】：

很高兴知道。谢谢你。顺便说一句，我认为第二个链接（到“对等”）在某种程度上指向与“私人链接”链接相同的目的地。
谢谢@Silvio。我在 VPC 中启动了 Elasticsearch 集群，设置了安全组、子网、网络负载均衡器和 VPC 端点服务。我现在只需要在 Databricks VPC 中创建一个网络端点接口，并将其指向我的 elasticsearch 的 VPC 端点服务。每次我启动新集群时，Databricks 是否都会创建一个新的 VPC？你知道我如何以编程方式访问该 VPC 吗？
不，它是您在设置帐户时创建的单个 VPC。您的账户需要 AWS 管理员来设置所需的配置。