【发布时间】:2021-05-31 10:57:01
【问题描述】:
我创建了一个传输,每天将数据从 Amazon S3 存储桶加载到我的 Google Cloud。 Google Cloud 存储桶包含一个文件夹,其中包含更多包含应用程序/八位字节流“文件”的子文件夹。我可以在 BigQuery 中使用它们手动创建表(以 json 格式)。
但是,它们有很多,我想知道是否可以自动创建它们。我总是使用自动模式,它们在 json 中。我没有更改任何其他设置。是否可以在 UI 中执行此操作,如果没有,我如何在控制台中执行此操作?
【问题讨论】:
-
您可能应该澄清您的问题:您是想在 JSON 文件到达 GCS 后立即将它们自动加载到 BQ 中,还是想要一个 shell 命令立即加载它们? (“在 UI 或控制台中执行此操作”:听起来手动 + 控制台和 UI 实际上是相同的,您可能是指 Cloud Shell)
-
文件加载到GC后,我想要一个基于它的BQ表。格式应为 json 格式,并应自动检测架构。
标签: json database google-bigquery transfer