如何将 Spark 作业从 Airflow 服务器提交到 hadoop 集群答案

【问题标题】：How to submit spark job from Airflow server to hadoop cluster如何将 Spark 作业从 Airflow 服务器提交到 hadoop 集群
【发布时间】：2019-12-26 01:31:37
【问题描述】：

我在服务器上安装了 Airflow。我能够从 Airflow 服务器 ping 到 hadoop 集群。我想从气流服务器提交一个火花作业到 hadoop 集群。有人可以列出我需要为此做的步骤吗？我需要在气流服务器上安装 spark 客户端吗？

【问题讨论】：

标签： apache-spark airflow

【解决方案1】：

Apache Livy 可以用来提交 Spark 作业，请看下面的博文。Spark Job submission via Airflow Operators

【讨论】：

【解决方案2】：

最简单的方法是在 Airflow 服务器和 Hadoop 集群（边缘节点）之间建立 SSH 连接。现在， 1. 从 Airflow UI（在管理选项卡下）创建一个 SSH 连接。 2. 通过 SSHHook 在您的 Airflow 管道中使用上面创建的连接。 3. 编写 spark-submit 命令。 4.在SSHOperator的构造函数中使用（2）和（3）的输出。

【讨论】：