在 Bigquery 中使用“计划查询”时如何避免重复数据

Question

因此，我编写了一个查询，然后通过单击 Bigquery 中的“保存视图”按钮将其保存到视图中。使用相同的查询，我通过单击“安排查询”将它们安排到一个新表中（我知道这是一个 Beta 版本）。几天后，我比较了数据（视图与表），它表明表中的数据有重复。

Answer 1

您可以在计划查询中设置写入首选项，以便根据您的要求覆盖或追加目标表。

如果您需要更精细的东西，您可以使用BigQuery Data Definition Language (DDL)，以便您的查询根据您的具体要求再次创建新表或分区等。

如果您看到重复数据，但又无法找出原因，您还可以安排第二个查询来查看您的表和remove duplicate entries。