【问题标题】:Automatically creating tables in BigQuery在 BigQuery 中自动创建表
【发布时间】:2021-05-31 10:57:01
【问题描述】:

我创建了一个传输,每天将数据从 Amazon S3 存储桶加载到我的 Google Cloud。 Google Cloud 存储桶包含一个文件夹,其中包含更多包含应用程序/八位字节流“文件”的子文件夹。我可以在 BigQuery 中使用它们手动创建表(以 json 格式)。

但是,它们有很多,我想知道是否可以自动创建它们。我总是使用自动模式,它们在 json 中。我没有更改任何其他设置。是否可以在 UI 中执行此操作,如果没有,我如何在控制台中执行此操作?

【问题讨论】:

  • 您可能应该澄清您的问题:您是想在 JSON 文件到达 GCS 后立即将它们自动加载到 BQ 中,还是想要一个 shell 命令立即加载它们? (“在 UI 或控制台中执行此操作”:听起来手动 + 控制台和 UI 实际上是相同的,您可能是指 Cloud Shell)
  • 文件加载到GC后,我想要一个基于它的BQ表。格式应为 json 格式,并应自动检测架构。

标签: json database google-bigquery transfer


【解决方案1】:

您可以创建一个Cloud Function,即triggered by file upload。这样的云功能可以处理上传的文件并在 BigQuery 中创建表。

【讨论】:

    猜你喜欢
    • 2021-08-08
    • 1970-01-01
    • 2018-02-27
    • 1970-01-01
    • 2022-10-23
    • 2021-10-14
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多