sql 查询重复数据，删除重复数据，过滤重复数据

select * from (
SELECT titleid,count(titleid) c
FROM [DragonGuoShi].[dbo].[ArticleInfo]
group by titleid,[CategoryCode]
having count(titleid)>1)as t
order by c

delete [DragonGuoShi].[dbo].[ArticleInfo] where ID not in (
SELECT max(ID) c
FROM [DragonGuoShi].[dbo].[ArticleInfo]
group by titleid ,[CategoryCode]
)

情况一：表中存在完全重复的的数据，即所有字段内容都是相同的

 

create table #
(用户ID int, 姓名 varchar(10), 年龄 int )
insert into #
select 111, '张三', 26 union all
select 222, '李四', 25 union all
select 333, '王五', 30 union all
select 111, '张三', 26

方法： select distinct * from #

 

 情况2：表中存在部分数据重复的字段，即 重复数据中至少有一个字段不重复

 

create table #
(用户ID int, 姓名 varchar(10), 年龄 int， 日期 DateTime )
insert into #
select 111, '张三', 26 2010-02-23 union all
select 222, '李四', 25 2010-03-13 union all
select 333, '王五', 30 2011-03-25 union all
select 111, '张三', 26 2011-07-07

 

方法：--当两条重，取日期大的一条 select * from t a where not exists (select 1 from t where a.用户ID=用户ID a.姓名=姓名 and 日期>a.日期)