【问题标题】:Trigger Airflow task based on solace events from solace queue根据慰藉队列中的慰藉事件触发 Airflow 任务
【发布时间】:2020-11-05 18:27:34
【问题描述】:
我刚开始学习气流...!!
我需要创建 DAG,其中包含从慰藉队列中侦听事件的任务,
根据应该传递给下一个任务的事件(消息),任务可能会监听多个事件。
一旦事件监听器监听事件 E1,那么它应该触发“事件 E1”任务并开始监听下一个事件。
其他事件(任务)也是如此,一旦侦听器收到所有事件,它就会变成绿色(成功)。
我知道根据事件我们可以通过分支触发下一个作业,但是我们如何确保第一个任务正在运行,直到收到所有事件?
【问题讨论】:
标签:
airflow-scheduler
solace
airflow
【解决方案1】:
我还没有测试过,但这应该会给你你正在寻找的结构,我相信。
# wait_eN = Your event waiting tasks
# work_eN = Your event working tasks
wait_e1 >> (wait_e2, work_e1)
wait_e2 >> (wait_e3, work_e2)
wait_e3 >> work_e3
【解决方案2】:
我们开发了 solace 事件监听器,它监听来自 solace 队列的事件并创建事件 Json 文件。
在 Airflow 中,我们实施了带有重新调度功能的传感器操作符。
通过这种方法,我们能够满足我们的要求。