为什么在 Apache Airflow 中使用 CustomOperator 而不是 PythonOperator？

Question

由于我使用的是 Apache Airflow，我似乎无法找到为什么有人会在 PythonOperator 上创建 CustomOperator。如果我在PythonOperator 而不是CustomOperator 中使用python 函数，它不会导致相同的结果吗？

如果有人知道有哪些不同的用例和最佳实践，那就太好了！ ！

非常感谢您的帮助

Answer 1

虽然相似的两个运算符实际上处于不同的抽象级别，并且根据您的用例，一个可能比另一个更适合。

在 CustomOperator 中定义的代码可以很容易地被多个 DAG 使用。如果您有很多 DAG 需要执行相同的任务，那么通过 CustomOperator 将此代码公开给 DAG 可能更有意义。

PythonOperator 非常通用，更适合一次性 DAG 特定任务。

说到底，Airflow 中提供的默认运算符集只是工具。您最终使用哪种工具（默认运算符）或创建自己的自定义工具（自定义运算符）是否有意义是由一系列因素决定的：

1. 您尝试完成的任务类型。
2. 政策或人数要求的代码组织要求 维护管道。
3. 简单的个人品味。