【发布时间】：2020-03-20 21:41:41
【问题描述】：
目前在 AWS 中有一个多主节点设置。 Livy 安装在所有 3 个节点上。在三个主节点中，是否有任何端点可以判断哪个是当前活动节点。尝试通过 LIVY 运行 Spark 作业。
【问题讨论】：
标签： apache-spark amazon-emr livy
【发布时间】：2020-03-20 21:41:41
【问题描述】：
- 你可以做
aws emr describe-cluster --cluster-id j-1K48XXXXXXHCB。你也可以对 java api / python apis 做同样的事情。 - livy 可以配置为使用zookeeper。这意味着你可以旋转 3 个动物园节点并在其上配置 livy：https://github.com/apache/incubator-livy/blob/master/conf/livy.conf.template——意味着你可以向任何 livy 提交工作（虽然我没有尝试过）
- 您是否考虑过 AWS Glue？它还具有连接作业的工作流程。并且 Glue 向后兼容 py-spark、scala-spark
除非您希望使用 EMR 24X7 ；并且在集群 CPU 的 80% 以上使用它，集群内存 AWS 胶水更胜一筹。请记住，尽管 AWS 说 EMR 是托管解决方案，但您仍然需要进行规模调整、检查弹性等
【讨论】：