BigQuery - 在 where 和 in 子句中删除两列

Question

我有一个从 OLTP 数据库流向 BQ 的数据。因此，如果任何行被更新，BQ 会在 2 个不同的行中同时包含新旧记录。所以我有一个查询去重复数据，但我想每天至少一次从 BQ 中删除旧值。

这是我的选择查询，它将为我提供最新记录。

SELECT DISTINCT o._sdc_sequence
      FROM `my-production.bqtest.mytbl` o
INNER JOIN (
     SELECT id,
            MAX(_sdc_sequence) AS seq,
            MAX(_sdc_batched_at) AS batch
    FROM `my-production.bqtest.mytbl`
    GROUP BY id) oo
ON o.id = oo.id
AND o._sdc_sequence = oo.seq
AND o._sdc_batched_at = oo.batch

• id - 整数（主键）
• sdc_sequence- unix时间戳（数据插入BQ时）
• _sdc_batched_at timestamp - （它是一个批处理，所以是批处理开始时间的时间戳）

以上列的样本数据：

select id, 
_sdc_sequence, 
_sdc_batched_at 
FROM `my-production.bqtest.mytbl`

ID: 2741332
_sdc_sequence: 1565726907840002084
_sdc_batched_at: 2019-08-13 21:01:07.687 UTC

我想删除旧记录，我可以用最新的行进行每日表轮换，但是如果我更改表结构上的某些内容，我使用的 ETL 工具将不起作用。

我在下面的查询中尝试了这个，但它也删除了一些有效的行。

delete from  `my-production.bqtest.mytbl` where _sdc_sequence not in( 
SELECT DISTINCT o._sdc_sequence
      FROM `my-production.bqtest.mytbl` o
INNER JOIN (
     SELECT id,
            MAX(_sdc_sequence) AS seq,
            MAX(_sdc_batched_at) AS batch
    FROM `my-production.bqtest.mytbl` 
    GROUP BY id) oo
ON o.id = oo.id
AND o._sdc_sequence = oo.seq
AND o._sdc_batched_at = oo.batch

因为我有2行具有相同的序列ID，所以我需要用where _sdc_sequence not in + max(_sdc_batched_at)过滤掉它

或任何其他更好的查询来执行此操作。

Answer 1

select t.*
from `my-production.bqtest.mytbl` t
where (id, _sdc_sequence) in
          (select (t2.id, MAX(t2._sdc_sequence))
           from `my-production.bqtest.mytbl` t2
           group by t2.id
          );

在选择查询的列列表中使用()，以避免出现Subquery of type IN must have only one output column 错误

Answer 2

如果您只想为每个id 保留一行，那么元组语法可能是最简单的。保存记录：

select t.*
from `my-production.bqtest.mytbl` t
where (id, _sdc_sequence) in
          (select t2.id, MAX(t2._sdc_sequence)
           from `my-production.bqtest.mytbl` t2
           group by t2.id
          );

根据您的描述，我不确定批次与问题有什么关系，所以我把它省略了。

您可以使用not in 或类似的逻辑将其转换为delete：

delete from `my-production.bqtest.mytbl` t
where (id, _sdc_sequence) not in
          (select t2.id, MAX(t2._sdc_sequence)
           from `my-production.bqtest.mytbl` t2
           group by t2.id
          );

你也可以这样表述：

delete from `my-production.bqtest.mytbl` t
where _sdc_sequence <
          (selectd max(t2._sdc_sequence)
           from `my-production.bqtest.mytbl` t2
           where t2.id = t.id
          );

Answer 3

@Mr.Llama

你可以通过使用分隔符来避免它

例如CONCAT(ABCD, EF) ---> CONCAT(ABCD,'-', EF)

Answer 4

只需在 where 检查和子查询中连接两个字段，将它们变成具有唯一值的单个字段（在运行删除之前确保它们是唯一的）：

select t.*
from `my-production.bqtest.mytbl` t
where concat(id, _sdc_sequence) in
          (select concat(t2.id, MAX(t2._sdc_sequence))
           from `my-production.bqtest.mytbl` t2
           group by t2.id
          )