【问题标题】:Trigger Airflow task based on solace events from solace queue根据慰藉队列中的慰藉事件触发 Airflow 任务
【发布时间】:2020-11-05 18:27:34
【问题描述】:

我刚开始学习气流...!!

我需要创建 DAG,其中包含从慰藉队列中侦听事件的任务, 根据应该传递给下一个任务的事件(消息),任务可能会监听多个事件。

一旦事件监听器监听事件 E1,那么它应该触发“事件 E1”任务并开始监听下一个事件。

其他事件(任务)也是如此,一旦侦听器收到所有事件,它就会变成绿色(成功)。

我知道根据事件我们可以通过分支触发下一个作业,但是我们如何确保第一个任务正在运行,直到收到所有事件?

【问题讨论】:

    标签: airflow-scheduler solace airflow


    【解决方案1】:

    我还没有测试过,但这应该会给你你正在寻找的结构,我相信。

    # wait_eN = Your event waiting tasks
    # work_eN = Your event working tasks
    
    wait_e1 >> (wait_e2, work_e1)
    wait_e2 >> (wait_e3, work_e2)
    wait_e3 >> work_e3
    

    【讨论】:

    • 那是生成不同的任务,但要使用运算符?
    【解决方案2】:

    我们开发了 solace 事件监听器,它监听来自 solace 队列的事件并创建事件 Json 文件。 在 Airflow 中,我们实施了带有重新调度功能的传感器操作符。 通过这种方法,我们能够满足我们的要求。

    【讨论】:

      猜你喜欢
      • 2021-01-16
      • 1970-01-01
      • 2015-11-16
      • 2022-01-07
      • 2021-03-20
      • 2019-09-11
      • 1970-01-01
      • 2018-01-30
      • 1970-01-01
      相关资源
      最近更新 更多