SQL 删除几乎重复的行

Question

我有一个包含非常糟糕的数据的表，我正在尝试过滤掉一些数据。我确信 LName、FName 组合是唯一的，因为数据集小到可以验证。

LName, FName, Email
-----  -----  -----
Smith  Bob    bsmith@example.com
Smith  Bob    NULL
Doe    Jane   NULL
White  Don    dwhite@example.com

我想让查询结果带回没有 NULL 电子邮件的“重复”记录，但在没有重复时仍然带回 NULL 电子邮件。

例如

Smith Bob   bsmith@example.com
Doe   Jane  NULL
White Don   dwhite@example.com

我觉得解决方案类似于Sql, remove duplicate rows by value，但是我不太明白提问者的要求是否和我一样。

有什么建议吗？

谢谢

Answer 1

您可以使用 ROW_NUMBER() 解析函数：

SELECT *
  FROM (
                SELECT a.*, ROW_NUMBER() OVER(PARTITION BY LName, FName ORDER BY Email DESC) rnk
                    FROM <YOUR_TABLE> a
                ) a
WHERE RNK = 1

Answer 2

如果有任何非空值，这将删除空行。

SELECT  lname
        , fname
        , MIN(email)
FROM    YourTable
GROUP BY
        lname
        , fname

测试脚本

DECLARE @Test TABLE (
  LName VARCHAR(32)
  , FName VARCHAR(32)
  , Email VARCHAR(32)
)

INSERT INTO @Test
  SELECT 'Smith', 'Bob', 'bsmith@example.com'
  UNION ALL SELECT 'Smith', 'Bob', 'NULL'
  UNION ALL SELECT 'Doe', 'Jane', 'NULL'
  UNION ALL SELECT 'White', 'Don', 'dwhite@example.com'

SELECT  lname
        , fname
        , MIN(Email)        
FROM    @Test
GROUP BY
        lname
        , fname

Answer 3

这是一个相对简单的查询，它使用标准 SQL 并执行此操作：

SELECT * FROM Person P
WHERE Email IS NOT NULL OR -- Take all people with non-null e-mails
      Email IS NULL AND    -- and all people with null e-mails, as long as
        NOT EXISTS         -- there is no duplicate record of the same person
          (SELECT *        -- with a non-null e-mail
           FROM Person P2 
           WHERE P2.LName=P.LName AND P2.FName=P.FName AND P2.Email IS NOT NULL)

Answer 4

由于已经发布了大量的 SQL 解决方案，您可能需要创建一个数据修复以删除不良数据，然后添加必要的约束以防止插入不良数据。数据库中的不良数据是不良设计的副作用。