记录一次惊心动魄的sql去重

SELECT *,concat('update data_security_info set del_flag=1 where id = ''',id,''';') 

FROM data_security_info WHERE source = '360安全客' and del_flag = 0 

and  url in (SELECT url FROM data_security_info GROUP BY url HAVING COUNT(1)>1) 

and id not in (SELECT MAX(id) FROM data_security_info GROUP BY url HAVING COUNT(1)>1)

url 为判重依据，保留最大id其他的数据状态改为删除状态。

concat（）函数，为字符串拼接函数

从外到内分析sql 第一层四个条件界定，第一个是source渠道，第二个是未删除状态，第三个是依据url判重，第四个是除去id号最大的数据

第三个依据url判重：按照url划分组group by url 判断如果count>1则表示此url重复，抽取url

第四个除去max id 依据按照url判重，然后获取到所有重复url的最大id号，然后not in这些最大id集合。

 

最后一步，执行concat的所有sql实现数据去重

2、保留最小id的数据

SELECT *,CONCAT('delete from distinct_table where id =',id,';') FROM distinct_table
WHERE id not in (select min(id) FROM distinct_table GROUP BY s_name,kechen,fenshu)