Apache Airflow（FBP、ETL、Other ...）是一种什么样的工具？

Question

AirFlow 与 Node-Red 等 FBP（基于流的编程）工具有何区别？

Airflow 是 ETL（提取、转换、加载）工具吗？它是 FBP 工具吗？两者都有？

如果不是 FBP 工具，与 FBP 相比有哪些优点/缺点？

注意：我注意到气流图是 DAG？这是一个限制吗（关于 FBP 工具的可能性？）

谢谢！

Answer 1

来自官方docs：Airflow 是一个以编程方式创作、安排和监控工作流的平台。

Airflow的设计原则是：

• 动态：气流管道是配置即代码 (Python)，允许动态管道生成。这允许编写动态实例化管道的代码。
• 可扩展：轻松定义您自己的运算符、执行程序并扩展库，使其适合适合您环境的抽象级别。
• 优雅：气流管道简洁明了。使用强大的 Jinja 模板引擎将脚本参数化内置到 Airflow 的核心中。
• 可扩展：Airflow 具有模块化架构，并使用消息队列来编排任意数量的工作人员。 Airflow 已准备好扩展到无穷大。

它可以用于ETL，也是一个FBP。这是一个非常通用的工具。

DAG 或 Directed Acyclic Graph - 是您要运行的所有任务的集合，以反映它们的关系和依赖关系的方式组织。