【发布时间】：2020-01-18 10:40:48
【问题描述】：
我需要创建一个 Airflow 作业，在给定的 _PARTITIONDATE 范围内将 BigQuery 表中的分区导出到 GCS。我需要将分区与分区日期放在单独的文件中。我怎样才能做到这一点？
我尝试使用使用 SQL 来获取 _PARTITIONDATE 的气流任务，但我可以通过编程方式完成吗？
【问题讨论】：
标签： google-cloud-platform google-bigquery partition
【发布时间】：2020-01-18 10:40:48
【问题描述】：
只需点击下面的链接 这些是使用 Airflow 将 Bigquery 分区导出到 GCS 的指南： https://m.youtube.com/watch?v=wAyu5BN3VpY&t=28s
【讨论】：
-
请在您的答案中添加更多内容，仅仅一个链接到别处是远远不够的：meta.stackexchange.com/questions/225370/…
为此，我建议您在 dag 定义中执行循环（您的循环是 Python 代码，您将在 DAG 中添加很多步骤。根据定义，DAG 不能包含循环）。
算法应该是这样的
- 对于范围内的所有日期
- 在这一天查询 BigQuery 并将结果保存到临时表中，表名中包含日期。使用BigqueryOperator
- 将临时表提取到 GCS。使用BigQueryToCloudStorageOperator
【讨论】：