【发布时间】:2018-10-29 17:17:42
【问题描述】:
我们有一个分区 BigQuery 表,该表在自定义字段 (event_timestamp) 上进行分区。这是因为需要导入历史数据,同时仍然保持分区和控制查询成本。
这意味着该表没有_PARTITIONTIME 字段,我们无法通过查询WHERE _PARTITIONTIME IS NULL 来查看位于流缓冲区中的最近发送的记录。
那么,即使您使用自定义字段进行分区,是否也能够查询流缓冲区?
编辑我们使用的是标准 SQL,而不是旧版 SQL,抱歉之前没有明确说明。
【问题讨论】:
-
仅查询缓冲区中存在的数据时,您能否详细说明您的目标?
-
@FelipeHoffa 主要是测试/验证函数是否按预期工作并写入/捕获预期数据。冲洗的延迟使这种缺乏可见性成为常规的绊脚石。通常,当您没有得到您期望的结果时,您会认为这是您的代码 - 在这种情况下,它实际上是在工作,但事情隐藏在缓冲区中。
标签: google-bigquery