我有一个包含大量行的表。不允许重复，但由于行的创建方式存在问题，我知道此表中有一些重复项。 我需要从键列的角度消除多余的行。其他一些列可能有略有不同的数据，但我不在乎。但是，我仍然需要保留其中的一行。 SELECT DISTINCT 不起作用，因为它对所有列进行操作，我需要根据键列抑制重复项。
我怎样才能删除多余的行但仍然有效地保留一个？
【问题讨论】：
标签： sql sql-server tsql
您没有说您使用的是什么版本，但在 SQL 2005 及更高版本中，您可以使用带有OVER Clause 的公用表表达式。它有点像这样：
WITH cte AS (
SELECT[foo], [bar],
row_number() OVER(PARTITION BY foo, bar ORDER BY baz) AS [rn]
FROM TABLE
)
DELETE cte WHERE [rn] > 1
试一试，看看你会得到什么。
（编辑：为了提供帮助，有人编辑了 CTE 中的 ORDER BY 子句。需要说明的是，您可以在此处按您想要的任何内容进行排序，它不必是 cte 返回的列之一. 事实上，这里的一个常见用例是“foo, bar”是组标识符，“baz”是某种时间戳。为了保持最新，你会做ORDER BY baz desc）
【讨论】：
查询示例：
DELETE FROM Table
WHERE ID NOT IN
(
SELECT MIN(ID)
FROM Table
GROUP BY Field1, Field2, Field3, ...
)
这里fields 是您要将重复行分组的列。
【讨论】：
select min(id) from ( select newid() as id union select newid() as id ) as a
这是我的转折点，带有一个可运行的示例。 注意这仅适用于Id 唯一且您在其他列中有重复值的情况。
DECLARE @SampleData AS TABLE (Id int, Duplicate varchar(20))
INSERT INTO @SampleData
SELECT 1, 'ABC' UNION ALL
SELECT 2, 'ABC' UNION ALL
SELECT 3, 'LMN' UNION ALL
SELECT 4, 'XYZ' UNION ALL
SELECT 5, 'XYZ'
DELETE FROM @SampleData WHERE Id IN (
SELECT Id FROM (
SELECT
Id
,ROW_NUMBER() OVER (PARTITION BY [Duplicate] ORDER BY Id) AS [ItemNumber]
-- Change the partition columns to include the ones that make the row distinct
FROM
@SampleData
) a WHERE ItemNumber > 1 -- Keep only the first unique item
)
SELECT * FROM @SampleData
结果：
Id Duplicate
----------- ---------
1 ABC
3 LMN
4 XYZ
不知道为什么这是我首先想到的......绝对不是最简单的方法，但它有效。
【讨论】：