BigQuery + PlayStore +Apps 历史数据

Question

我们正在努力将我们的应用数据集成到 BigQuery。作为其中的一部分，我们使用 BigQuery Transfer 服务来引入应用商店数据。 我认为计划传输的工作方式是，从我们设置之日起，它将开始从那里引入任何新的增量数据，这些数据适用于未来的数据集。

我们还有想要使用的现有数据以及最新+未来的数据。当我在这里使用“计划回填”选项时，我可以导入任何以前的数据，但当我使用现有数据集时，它似乎会清除当前数据集。

此外，您一次只能安排 6 个月的数据。我们可以创建新数据集并尝试自定义合并等。但我想知道有没有其他方法可以将以前和未来的数据保持在一个单一的无需编写任何自定义代码/配置的数据集。

Answer 1

如您所述，配置传输时，数据将从配置之日起填充到 BigQuery 中。

回填不会擦除当前数据集；但是，请注意，如果您在 BigQuery 中已有数据的回填中包含日期，则该日期的数据将被覆盖。

虽然某些服务没有像 Google Play 这样的数据保留限制，但 BigQuery 数据传输服务对 single backfill 中可以请求的天数有限制，换句话说，Google Play 没有提供限制回填，但在 BigQuery 方面，您需要以 180 天为单位安排回填。

如果您使用的数据传输服务有数据保留限制，则需要创建单独的 ETL 流程来加载超出该限制的数据；但是，据我了解，您正在尝试使用 Play Transfer 并且它没有已知的回填限制，您只需要安排一个 180 天范围内的回填，完成后，安排一个新的回填未来 180 天。