安排定期将数据从 GCS 加载到 BigQuery答案

【问题标题】：Schedule loading data from GCS to BigQuery periodically安排定期将数据从 GCS 加载到 BigQuery
【发布时间】：2019-03-04 11:24:40
【问题描述】：

我已经对其进行了研究，目前提出了使用 Apache Airflow 的策略。我仍然不确定该怎么做。我得到的大多数博客和答案都是直接代码而不是一些材料来更好地理解它。另外，请建议是否有好的方法。

我也得到了一个答案，比如使用Background Cloud Function 和Cloud Storage trigger。

【问题讨论】：

【解决方案1】：

您可以使用 BigQuery 的 Cloud Storage transfers，但请注意它仍处于测试阶段。

您可以选择安排从 Cloud Storage 到 BigQuery 的传输，但有一定的限制。

【讨论】：

【解决方案2】：

我得到的大多数博客和答案都是直接代码

Apache Airflow 为许多任务提供了丰富的 UI，但这并不意味着您不应该编写代码来完成任务。

对于您的情况，您需要将 BigQuery command line operator 用于 Apache Airflow

可以在link 中找到如何做到这一点的好方法

【讨论】：