如何根据分组计算重复项以及查看值是否存在于相同的字段值中？

Question

我有一个包含大约 10 万行的表，看起来像这样

GROUP  |  ID  

A        AED12
A        6D04K
A        AED12 
B        VFR54
B        VFR54
B        9KMN2
B        AED12 
C        9KMN2
C        9KMN2
C        VFR54

我想要一个输出来计算按“GROUP”分组的重复项的数量，同时还可以查看多个组中存在哪些“ID”（参考 GROUP A 和 B 中的“AED12”）。

我正在使用此查询来解决每个组中重复的第一个问题

select GROUP, ID, count(ID)
from TABLE1
group by GROUP, ID
having count(ID) > 1
;

上面查询的输出

GROUP  |  ID   | COUNT

A        AED12     2
B        VFR54     2
C        9KMN2     2

我想总结每组重复的数量（A、B 组中有多少重复），我想这样（例如，为了目的而组成 #s）

GROUP | Sum of Dups IDs
A         2134
B         23321
C         11235

同时还可以识别多个组中存在哪些 ID，并计算各组中存在的 ID。输出类似于当字段表示 ID 存在于超过 1 个组中的情况，如果是“真”，如果不是 - “假”。仍在考虑如何计算/分组输出的样子，因为有数百万行..

任何帮助将不胜感激 - Snowflake 的新手。

Answer 1

您可以使用窗口函数计算一个 id 出现在不同组中的数量，然后进行聚合。这是一个计算单例和成对的示例：

select group,
       count(*) as num_elements,
       count_if(num_groups = 1) as num_onesies,
       count_if(num_groups = 2) as num_twosies
from (select t.*,
             count(*) over (partition by id) as num_groups
      from table1 t
     ) t
group by group;

编辑：

如果您有重复，最好在进行上述处理之前将其删除：

select group,
       count(*) as num_elements,
       count_if(num_groups = 1) as num_onesies,
       count_if(num_groups = 2) as num_twosies
from (select t.*,
             count(*) over (partition by id) as num_groups
      from (select distinct group, id
            from table1 t
           ) t
     ) t
group by group