PythonOperator 或 SimpleHttpOperator 发出 HTTP 获取请求并将结果保存到 GCP 存储

Question

我处于学习 Airflow 的早期阶段。我正在学习 Airflow 来构建一个简单的 ETL（ELT？）数据管道，并且正在研究管道的架构（我应该使用哪些运算符）。我的数据管道的基础是：

1. 从 API 发出 HTTP GET 请求以获取原始数据。
2. 将原始 JSON 结果保存到 GCP 存储桶中。
3. 转换数据并保存到 BigQuery 数据库中。

...管道将安排为每天运行一次。

正如标题所示，我正在尝试确定 SimpleHttpOperator 或 PythonOperator 是否更适合用于发出 HTTP GET 数据请求。从这篇有点相关的stackoverflow帖子stackoverflow post，作者简单地得出结论：

虽然我想从现在开始我会简单地使用 PythonOperator

编写一个 10-20 行代码的 Python 脚本来发出 http 请求、识别 GCP 存储桶并写入该桶似乎很简单。但是，我不确定这是否是此类任务的最佳方法（调用 api --> 获取数据 --> 写入 gcp 存储桶）。

对此的任何帮助或想法，有关构建类似管道的任何示例链接等都会非常有帮助。提前致谢

Answer 1

我建议您将气流视为处理步骤之间的粘合剂。在 Airflow 中执行的处理应该是有条件地触发或不触发 step，对 step 进行循环并处理错误。

为什么？因为，如果明天您选择更改工作流应用程序，则无需再次编写流程代码，只需重写工作流逻辑（因为您更改了工作流应用程序）。一个简单的关注点分离。

因此，我建议您将 10-20 行 python 代码部署到 Cloud Functions 中，并设置一个 SimpleHTTPOperator 来调用它。 此外，函数比工作流（运行和查看代码）要容易得多。部署和更新也会更容易。