【问题标题】:BigQuery maximum content in viewBigQuery 可查看的最大内容
【发布时间】:2016-04-12 05:36:21
【问题描述】:

当我尝试创建一个查询 600 多个表的视图时,BigQuery 运行了很长时间并且响应是: mk 操作中的 BigQuery 错误:后端错误。

查询本身是这样的: '从 t1,t2,t3......t600 中选择 col1,col2,col3'

【问题讨论】:

    标签: google-bigquery


    【解决方案1】:

    我怀疑操作超时。这里的限制是验证视图查询是否可以在单个同步请求(如视图创建)的期限限制内完成。这么多表可能太多了。

    一种潜在的解决方法可能是分片该视图:创建较小的视图表,然后创建较小视图集的单个视图。

    另一种解决方案是探索您的数据布局。也许您不需要 600 个表来保存您的数据? BigQuery 团队在 GCP Next 2016 上宣布即将推出按日期进行表分区,因此如果您按天对表进行分片并且需要参考多年的数据,那么很快就会有一个单表解决方案供您使用。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2019-04-19
      • 2011-09-06
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2010-10-19
      • 2019-03-12
      相关资源
      最近更新 更多