更新 BigQuery 永久外部表答案

【问题标题】：Update BigQuery permanent external tables更新 BigQuery 永久外部表
【发布时间】：2020-12-14 10:11:47
【问题描述】：

我使用 BigQuery 将数据存储在“本机”BigQuery 表中并查询存储在 Google Cloud Storage 中的数据。根据文档，可以使用两种类型的表查询外部源：永久和临时外部表。
考虑以下场景：每天都会在 GCS 中编写一些 parquet 文件，并且我想以一定的频率在存储在 BigQuery 表中的数据和存储在 parquet 文件中的数据之间进行 JOIN。如果我创建一个永久外部表，然后更新下面的文件，表的内容是否也会自动更新，还是我必须从新文件重新创建它？这种情况的最佳做法是什么？

【问题讨论】：

标签： google-cloud-platform google-bigquery google-cloud-storage

【解决方案1】：

当您将新文件添加到云存储桶中时，您不必再次重新创建外部表。唯一的例外是，如果新文件中的列数不同，则外部表将无法按预期工作。

您需要使用通配符来读取与特定模式匹配的文件，而不是提供静态文件名。示例："gs://bucketName/*.csv"

【讨论】：