在 AWS EC2 上使用 h2o 安装多节点集群

Question

我想知道如何使用多个 AWS EC2 实例和 R-Studio 设置一个 h2o 集群。我不是计算机科学家，对于这些琐碎的问题非常抱歉（！）

根据本教程 (http://amunategui.github.io/h2o-on-aws/)，我在 AWS EC2 实例 (Linux) 上成功安装了 h2o 和 R-Studio。但我更想创建一个多实例集群，比如说 4 个实例，每个实例有 8 个核心。

按照这个 (http://h2o-release.s3.amazonaws.com/h2o/rel-lambert/5/docs-website/deployment/multinode.html) 文档，我需要一个 flatfile.txt，我可以在其中列出每个 EC2 实例的所有 IP 和端口。在下一步中，我必须将此文件复制到集群中的每个节点，然后我需要通过 java 命令行启动一个集群......因为我不是我已经提到的计算机科学家，所以出现了一些问题：

1. 在哪里可以找到每个 h2o 实例的 IP 和端口？
2. 如何将结果文件复制到每个节点？
3. 从第 5 步开始，我完全糊涂了；我必须在哪里插入这一行/在哪里可以找到 java 命令行？
4. 我不想使用 h2o 的 Web UI，那么如何从 R-Studio（安装在其中一个实例上）访问集群？

非常感谢您！

Answer 1

1a。从哪里获得IP？ 您在创建每个 EC2 实例时会被告知。它是您想要的私有 IP（通常以 172 开头。） （顺便说一句，请确保您将它们全部创建在同一个可用区中。）

1b。使用 54321 作为端口。因此，您的 3 节点 flatfile.txt 可能如下所示：

172.31.1.123:54321
172.31.2.237:54321
172.44.99.99:54321

_2。您可以在笔记本上制作 flatfile.txt，然后将其 scp 到您主目录中的每个节点。 （为 scp 使用公共 IP。）

_3。依次ssh进入每台机器，然后从主目录键入该命令，例如

 java -Xmx20g -jar h2o.jar -flatfile flatfile.txt -port 54321

_4。首先确保端口 8787 在您的 Amazon 防火墙（又名“安全组”）中打开。一旦您确定 H2O 集群正在运行（并假设您已经安装了 H2O R 软件包，并确保它与集群中每个节点上的版本完全相同），那么您只需执行以下操作：

library(h2o)
h2o.init()

h2o.init() 在本地机器上查找集群中的任何节点。

---

旁白：

我一直在使用的是这里找到的脚本：

https://github.com/h2oai/h2o-3/tree/master/ec2

他们为您完成了几乎所有步骤，包括制作平面文件、分发它以及在每个节点上启动 H2O。您仍然需要设置一个安全组（好吧，可选，我想：脚本默认是没有安全组！），并且您需要为用于登录 RStudio 的用户设置密码。并且您需要安装 H2O R 包（我认为如果您不喜欢命令行，可以从 RStudio 内部完成）。