【问题标题】:Dump BigQuery select statement results into Google Cloud SQL database table将 BigQuery 选择语句结果转储到 Google Cloud SQL 数据库表中
【发布时间】:2016-10-25 11:36:18
【问题描述】:

如何将 BigQuery 选择语句结果转储到 Google Cloud SQL 数据库中。我知道的唯一方法是将结果转储到 Google Cloud Storage,然后 Cloud SQL 可以从中读取。 有没有更好的方法来实现这一点?我希望这每天都发生。

【问题讨论】:

  • 数据会有多大?
  • 每个查询大约 5000 行和 10-15 个这样的查询。

标签: google-app-engine google-bigquery google-cloud-storage google-cloud-sql


【解决方案1】:

您可以创建一个 cron 作业,该作业将使用 BigQuery API 来查询数据并使用 MySQL API 来发布数据。

您可以使用Cloud DataFlow,它将使用 BigQuery 查询作为输入,但您需要编写一个自定义接收器(JavaPython)(或找到一个)将其转储到 MySql。

【讨论】:

  • 是否有编写基于 SQL 的自定义接收器的文档?
  • @Prabhjot 我不知道,但我在自定义接收器上添加了答案的链接
猜你喜欢
  • 2023-03-31
  • 1970-01-01
  • 1970-01-01
  • 2021-08-04
  • 2017-11-13
  • 2015-10-31
  • 2017-12-03
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多