Cron bigquery 作业 [关闭]

Question

安排 BigQuery 作业的最佳方式是什么？

BigQuery 不提供直接的方法，我从搜索中得到的最好的结果是使用应用引擎 cron 服务，但据我了解，我必须创建一个 Web 应用程序才能使用该服务。

我的用例是每天或每周对点击次数和展示次数进行一些聚合，然后在我们的管理门户中使用它们。

我之前用 Hive 作为数据仓库，用 Oozie 作为我们的调度器。

有没有办法用 BigQuery 完成相同的逻辑？

Answer 1

很遗憾，BigQuery 中没有内置调度程序，尽管工程团队会接受请求！ link.

但是，有一些有趣的选择。

1. 正如您所提到的，使用 App Engine 中的 cron 服务绝对可行，并且您可以编写一个小型、简单的 Web 服务，以定期调用您想要的查询。这项服务不会面向网络，因此费用应该非常低。
2. Apache Airflow 是我一直在玩的一项很有前途的服务；它允许您在 Python 中跨各种云服务定义更复杂的数据操作任务，并以您选择的任何节奏执行它们。非常便利。
3. 常规 Cron - 如果您有可用的服务器，您可以设置一个基本的 cron 作业，该作业使用“bq”命令行工具执行您想要的任何查询并将结果保存到 BQ 中的表中。

希望对您有所帮助！我很肯定还有其他选择，只是想给你一些。