BigQuery：为什么 Table Range Decorators 有时会返回错误的结果？答案

【问题标题】：BigQuery: Why does Table Range Decorators return wrong result sometimes?BigQuery：为什么 Table Range Decorators 有时会返回错误的结果？
【发布时间】：2014-12-13 09:55:27
【问题描述】：

自 5 月以来，我每天都在使用 Table Range Decorators 功能，以便仅在我的某些表中查询过去 7 天的数据。

自 2 周以来，我注意到在使用该功能时有时会丢失一些数据。例如，如果查询过去 7 天的结果（通过将“@-604800000--1”添加到表中），与查询整个表（没有表装饰师）。

我想知道什么可以解释这一点，以及是否有即将推出的修复程序来解决这个问题？

如果这可以帮助 BigQuery 团队，我注意到在使用表格装饰器时，我们在 10 月 16 日 16:00 到 20:00 UTC 时间之间缺少一些数据。

对于 BigQuery 团队，这里有 2 个作业 ID，其中缺少一些数据：job_-xtL4PlIYhNjQ5weMnssvqDmd6U，job_9ASNxqq_swjCd1eMmiQ6SmPpxlQ

和 1 个数据正确的作业 ID（没有装饰器）：job_QbcRwYGbQv0BZdHreQEvRlYh-mM

【问题讨论】：

标签： google-bigquery

【解决方案1】：

这是包含时间范围的表装饰器的一个已知问题。由于 BigQuery 中的错误，某些时间范围内可能会省略应包含在该时间范围内的数据。

我们正在努力修复并计划在下周发布。部署此修复程序后，时间范围装饰器应再次按预期工作。

【讨论】：

您能详细说明一下吗？我想了解这个错误何时以及什么影响，所以我可以修复它在我这边造成的衍生问题。
当范围装饰器用于附加到许多小块的表时，可能会发生此问题，因此 BigQuery 已压缩表表示。如果时间范围装饰器与压缩周期重叠，我们需要展开压缩操作。这里有一个错误，因此可能会遗漏一些数据。不幸的是，很难说这是什么时候发生的。我们确实有一个修复程序，希望尽快发布。
伙计们，你能更新一下修复时间表吗？这是一个超过 2 周的主要错误。此错误导致我的 BI 系统显示错误数据，因此我的用户对基于 BQ 的解决方案失去信心。而且它的成本有点低，因为我需要在部分数据自动运行后再次手动运行所有内容。（处理这个错误的方式导致 BQ 丢分......有人问我是否应该寻求替代分析 Infra）
这个错误现在应该在生产中得到修复。该缺陷存在于一些解释内部创建文件的时间戳的代码中。由于文件本身是正确的，因此应该立即修复并覆盖所有现有数据。
仍然得到部分结果。重新打开一个错误（181）