如何从 Airflow 向 EMR 集群提交 Spark 作业？

Question

如何在 EMR 主集群（由 Terraform 创建）和 Airflow 之间建立连接。我在具有相同 SG、VPC 和子网的 AWS EC2 服务器下设置了 Airflow。

我需要解决方案，以便 Airflow 可以与 EMR 通信并执行 Spark 提交。

https://aws.amazon.com/blogs/big-data/build-a-concurrent-data-orchestration-pipeline-using-amazon-emr-and-apache-livy/

这些博客对建立连接后的执行有所了解。（没有多大帮助）

在气流中，我使用 AWS 和 EMR 的 UI 建立了连接：-

下面是列出活动和终止的 EMR 集群的代码，我还可以微调以获得活动集群：-

from airflow.contrib.hooks.aws_hook import AwsHook
import boto3
hook = AwsHook(aws_conn_id=‘aws_default’)
    client = hook.get_client_type(‘emr’, ‘eu-central-1’)
    for x in a:
        print(x[‘Status’][‘State’],x[‘Name’])

我的问题是 - 我如何更新我上面的代码可以执行 Spark 提交操作

Answer 1

虽然它可能无法直接解决您的特定查询，但总体而言，您可以通过以下方式在（远程）EMR 上通过Airflow 触发spark-submit

1. 使用Apache Livy

   • 这个方案实际上是独立于远程服务器的，即EMR
   • Here's 一个例子
   • 缺点是Livy 处于早期阶段，它的API 出现在我看来incomplete and wonky

2. 使用EmrStepsAPI

   • 依赖于远程系统：EMR
   • 强大，但由于它本质上是异步，您还需要一个EmrStepSensor（以及EmrAddStepsOperator）
   • 在单个EMR 集群上，您不能同时运行多个步骤（尽管存在一些hacky workarounds）

3. 使用SSHHook / SSHOperator

   • 再次独立于远程系统
   • 比较容易上手
   • 如果您的 spark-submit 命令涉及大量参数，那么（以编程方式）构建该命令可能会变得很麻烦

---

EDIT-1

似乎还有另一种直截了当的方法

4. 指定远程master-IP

   • 独立于远程系统
   • Needs 修改全局配置/环境变量
   • 详情请见@cricket_007's answer

---

有用的链接

• 这个来自@Kaxil Naik本人：Is there a way to submit spark job on different server running master
• Spark job submission using Airflow by submitting batch POST method on Livy and tracking job
• Remote spark-submit to YARN running on EMR

Answer 2

由于您已使用 Terraform 创建 EMR，因此您获得的主 IP 为 aws_emr_cluster.my-emr.master_public_dns

希望这会有所帮助。