【问题标题】:Date-partitioned template tables in BigQuery?BigQuery 中的日期分区模板表?
【发布时间】:2016-06-25 19:52:18
【问题描述】:

我正在尝试在 BigQuery 中创建 date-partitioned + template 表:

  1. 使用bq mk --time_partitioning_type=DAY myapp.customer 创建基表
  2. "tableId": "customer", "templateSuffix": "_activated"调用APIinsertAll

生成的customer_activated 表继承customer 表的架构,但没有timePartitioning

如何确保模板表继承基表的时间分区?

【问题讨论】:

    标签: google-bigquery


    【解决方案1】:

    对于将来来到这里的人来说,接受的答案已经过时了。 BigQuery Streaming API 现在支持日期分区表,包括表和特定分区

    Link to docs

    【讨论】:

      【解决方案2】:

      流式 API 尚不支持日期分区
      您的选择是使用带有分区的加载作业作为初始填充的目标,然后直接使用流式传输到表(不使用分区)并让 bigquery 推断分区时间戳

      否则,您应该等待流媒体支持 Google 团队提到的在不久的将来发生的日期分区

      更新:

      自 2017 年年中左右以来,BigQuery 支持 Streaming into partitioned tables

      【讨论】:

      • 您知道流媒体支持日期分区的当前状态吗(截至 2017 年 7 月)?
      • @BrianLeach - 现在支持 - 有一些限制 - 使用分区装饰器进行流式传输时,您可以在过去 30 天内和未来 5 天内(相对于当前)流式传输到分区日期,基于当前 UTC 时间 - cloud.google.com/bigquery/… 。顺便说一句,考虑投票赞成这个答案,因为它看起来帮助你(我认为)找到你正在寻找的东西:o)
      • 很高兴为答案投票,请考虑对其进行编辑以反映图书馆的当前状态
      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-11-30
      • 2021-07-24
      • 1970-01-01
      相关资源
      最近更新 更多