日期分区或日期分片

Question

我在 BigQuery 中有许多日期分片的表，包括几年的 Google Analytics（分析）数据。最近有人告诉我，这是旧的优化方法，而且日期分区要快得多。

这是正确的吗？我一直在寻找提高对这些数据的查询速度的方法，如果日期分区允许更快的查询，我应该将所有日期分片 GA 表重建为日期分区吗？我应该两者都做吗？我可以期待看到什么样的性能影响，真的值得付出努力吗？

Answer 1

Google 文档中的这个页面相对彻底地回答了这个问题：https://cloud.google.com/bigquery/docs/partitioned-tables#partitioning_versus_sharding

最相关部分：

分区表的性能优于按日期分片的表。当您创建以日期命名的表时，BigQuery 必须为每个以日期命名的表维护一份架构和元数据的副本。此外，当使用以日期命名的表时，可能需要 BigQuery 来验证每个查询表的权限。这种做法还会增加查询开销并影响查询性能。推荐的最佳做法是使用分区表而不是日期分片表

您的性能改进主要取决于您拥有多少以前的分片以及您在单个查询中始终访问其中的多少。