【发布时间】：2019-11-27 23:30:30
【问题描述】：
我想使用 ETL 服务，但我被困在 Apache Airflow 和 Matillion 之间。
- 它们是一样的吗？
- 主要区别是什么？
【问题讨论】：
标签： bigdata airflow data-pipeline matillion
【发布时间】：2019-11-27 23:30:30
【问题描述】：
我从未使用过 Matillion。因此，我无法回答您拥有的任何特定用例。
但通过对 Matillion 的快速分析，我可以很清楚地看出，Matillion 和 Airflow 根本不一样。
Matillion 是一个提取/转换/加载工具。您可以将其与 AWS Glue / Apache NiFi / DMExpress 等工具进行比较。
Airflow 是一种编排工具。您可以将其与 oozie 等工具进行比较。
更重要的是，Matillion 并非免费提供。
【讨论】：
-
Matillion 确实有编排，所以这应该是比较的地方。
Airflow 的主要用例是编排/调度，而不是 ETL。您可以在 Airflow DAG 中执行 ETL 任务，但除非您计划使用容器化/K8 架构来实施 Airflow，否则您将很快看到性能瓶颈，甚至是挂起/卡住的流程。当然，有一些方法可以缓解这种情况，但这不是主要用例。
Matillion 的主要用例是 ETL（实际上是 ELT），因此它不会遇到同样的性能问题，也不会需要复杂的基础架构来实现该性能。它还提供了基于 GUI 的代码可选界面，因此您无需成为 Python 专家即可快速获得结果。
我实际上认为 Airflow 和 Matillion 是互补的（可能）。例如，如果您有应用程序间的依赖关系，您可以使用 Airflow 或其他第三方调度程序来编排 Matillion 工作流，并获得两者的好处。
【讨论】：
-
其实 Matillion 有相当稳固的编排框架，不需要使用 Airflow。