如何构建 Google Cloud dataproc 边缘节点？

Question

我们正在从本地环境迁移到用于 Spark 作业的 Google Cloud Dataproc。我能够构建集群并通过 ssh 连接到主节点以执行作业。我不清楚如何构建允许用户登录和提交作业的边缘节点。它会是另一个gce vm吗？有什么想法或最佳实践吗？

Answer 1

新的 VM 实例是从其他架构映射 EdgeNode 角色的好选择：

• 您可以从可以通过 SSH 访问的主节点执行您的作业。

• 您需要在简单性 (SHH) 或安全性 (EdgeNode) 之间找到平衡点。

• 请注意，IAM 可以通过分配Dataproc Editor role 来帮助允许个人用户提交作业。

不要忘记 Dataproc 提供的创建临时节点的能力。这意味着您创建一个集群，执行您的作业并删除您的集群。

使用临时集群将避免不必要的成本。甚至，您为其创建的脚本可以从任何安装了 Google Cloud SDK 的机器上执行，例如OnPrem 服务器或您的 PC。