如何从 Apache Airflow 触发 azure Databricks 笔记本

Question

我在 Azure 数据块笔记本中创建了一些 ETL。 现在尝试从airflow-1.10.10 执行该笔记本。

如果有人能提供帮助，那就太好了。

提前致谢。

Answer 1

Airflow includes native integration with Databricks，提供2个操作符：DatabricksRunNowOperator & DatabricksSubmitRunOperator（包名因Airflow版本不同而不同。还有一个example of how it could be used。

您需要使用登录参数创建一个名称为databricks_default 的连接，该登录参数将用于安排您的工作。在最简单的情况下，对于作业，您只需要提供集群的定义和笔记本规范（至少要运行笔记本的路径），如下所示：

    notebook_task_params = {
        'new_cluster': new_cluster,
        'notebook_task': {
            'notebook_path': '/Users/airflow@example.com/PrepareData',
        },
    }
    # Example of using the JSON parameter to initialize the operator.
    notebook_task = DatabricksSubmitRunOperator(
        task_id='notebook_task',
        json=notebook_task_params
    )

附：有一个 old blog post 与此集成的公告。