基于另一个查询的OFFSET？

Question

我的表结构大致如in this post所述：

name	processed	processing	updated	ref_time
abc	t	f	27794395	27794160
def	t	f	27794395	27793440
ghi	t	f	27794395	27793440
jkl	f	f	27794395	27794160
mno	t	f	27794395	27793440
pqr	f	t	27794395	27794160

我已经基于这个表结构创建了一个dbfiddle（更多内容见下文），因此无需创建您自己的。

基于this answer，我得到了一个ref_time值的列表，用作从status_table删除“旧”条目的基础：

with 
    ref as (
        select ref_time 
        from status_table 
        group by ref_time 
        having bool_and(processed)
        order by ref_time desc
        offset 1
    )
delete from status_table s
using ref r
where s.ref_time = r.ref_time

但是现在我想对我用作offset 的内容更加复杂...我理想情况下希望保留处理所有记录的最新ref_time（根据上面的示例，offset 是@ 987654333@)，但是最近的两个ref_time 其中第二个 ref_time 的关联记录比第一个多（即 offset 需要是 2 才能跳过最近的两个 ref_time）。

我认为以下查询（基于this answer）将有助于完成此任务，因为它根据ref_time 计算processed 记录的总数：

select ref_time, 
    count(*) cnt_total,
    count(*) filter(where processed) cnt_processed,
    round(avg(processed::int),2) ratio_processed
from status_table
group by ref_time
order by ratio_processed desc, ref_time desc;

所以在 this dbfiddle 中，我需要保留 ref_time=27794160（而不是像示例中那样将其包含在删除列表中），因为尽管它是第二个，但它的 cnt_total 也比第一个高。

一般来说，规则是我希望将所有 ref_time 保留到（但不包括）与之前（或更少）具有相同 cnt_total 的 ref_time。

Answer 1

WITH sel AS (
   SELECT ref_time
   FROM  (
      SELECT ref_time
           , count(*) FILTER (WHERE drop) OVER (ORDER BY ref_time DESC) AS drops
      FROM  (
         SELECT ref_time
              , lag(count(*)) OVER (ORDER BY ref_time DESC) >= count(*) IS TRUE AS drop
         FROM   status_table
         GROUP  BY ref_time
         HAVING bool_and(processed)
         ) sub1
      ) sub2
   WHERE drops > 0
   )
DELETE FROM status_table d
USING  sel s
WHERE  d.ref_time = s.ref_time;

fiddle

子查询sub1 主要是您已经拥有的。再加上一些：

我们只需要count(*)，因为HAVING bool_and(processed) 无论如何都排除了其他情况。

lag(count(*)) OVER (ORDER BY ref_time DESC) >= count(*) 检查前一行是否相同或更大，在这种情况下，我们将其称为“丢弃”。我们希望保留第一个“下降”之前的所有行。

所以 count(*) FILTER (WHERE drop) OVER (ORDER BY ref_time DESC) AS drops 在 sub2 计算那些“掉落”，并且 WHERE drops > 0 消除我们想要保留的前导行。

关于这种“差距和岛屿”方法：

• Select longest continuous sequence

如果status_table 上可以并发写入，您可能需要添加锁定子句FOR UPDATE 以确保。但是您不能在聚合查询中执行此操作，因此您将在执行此操作的位置添加另一个子查询……请参阅：

• Postgres UPDATE ... LIMIT 1

Answer 2

这是windowfunctions的简单翻译：

with 
 count_per_completed_ref_time as
  ( select 
        ref_time, 
        count(*) cnt_total
    from  status_table 
    group by ref_time 
    having bool_and(processed)
    order by ref_time desc )
,windowed_counts as
  ( select 
        ref_time,
        cnt_total,
        row_number() over w1 as ref_time_num,
        lag(cnt_total) over w1 as preceding_cnt_total
    from count_per_completed_ref_time
    window w1 as (order by ref_time desc) )
delete from status_table s
where ref_time in --only delete completed ref_times, found in the first CTE
  ( select ref_time from count_per_completed_ref_time)
and ref_time not in --prevent deleting these
  ( select ref_time
    from windowed_counts
    where ref_time_num = 1 --top, latest completed ref_time
    or (  ref_time_num = 2 --second latest
        and cnt_total>preceding_cnt_total)--has higher total than the latest
   ) 
returning *;

1. 选择与以前相同的ref_time 行，仅保留已完全处理的行。
2. 使用窗口显示这些ref_time 中的order，加上前面ref_time 的cnt_total，在此排名中有一个higher。
3. 始终按此顺序选择顶部的ref_time，如果第二个的cnt_total 更高，则也接受。
4. 删除在中找到的所有已完成的ref_time1., 除非他们被选中3., returning 全部删掉，供大家查看。

   Demo 以及额外的测试用例。