如何从 Apache Airflow 提交 spark-submit

Question

谁能帮助我如何在 Apache Airflow 中安排 spark 作业，

我在找剧本，请帮帮我

Answer 1

Amogh，您需要执行以下步骤：

1. 从here 下载并在您的 Airflow 服务器上安装 Apache Spark
2. 像集群上的那样配置新安装的 Spark。
3. 为方便起见，将 bin 目录添加到 PATH 环境变量中。
4. 在 Airflow 中使用 BashOperator 创建一个 Dag，它运行 spark-submit 命令或负责该任务的自定义 shell。见here。