在 MySQL 中合并重复的行

Question

我有一个这样的数据库：

users
id    name    email                phone
1     bill    bill@fakeemail.com
2     bill    bill@fakeemail.com   123456789
3     susan   susan@fakeemail.com
4     john    john@fakeemail.com   123456789
5     john    john@fakeemail.com   987654321

我想根据电子邮件字段合并被视为重复的记录。

试图弄清楚如何使用以下注意事项。

1. 基于重复电子邮件合并
2. 如果一行有空值，则使用数据最多的行。
3. 如果 2 行是重复的，但其他字段不同，则使用这一行

具有最高 ID 号（请参阅 john@fakeemail.com 行以获取示例。）

这是我尝试过的一个查询：

DELETE FROM users WHERE users.id NOT IN 
(SELECT grouped.id FROM (SELECT DISTINCT ON (email) * FROM users) AS grouped)

遇到语法错误。

我正在尝试让数据库转换为此，我无法找出正确的查询：

users
id   name    email                 phone
2    bill    bill@fakeemail.com    123456789
3    susan   susan@fakeemail.com   
5    john    john@fakeemail.com    987654321

Answer 1

这是一个使用删除连接的选项：

DELETE
FROM users
WHERE id NOT IN (SELECT id
                 FROM (
                     SELECT CASE WHEN COUNT(*) = 1
                                 THEN MAX(id)
                                 ELSE MAX(CASE WHEN phone IS NOT NULL THEN id END) END AS id
                     FROM users
                     GROUP BY email) t);

本次删除的逻辑如下：

• 只有一条记录的邮件不会被删除
• 对于具有两条或更多记录的电子邮件，我们会删除除id 值最高的记录之外的所有内容，其中还定义了电话。

Answer 2

这是一个解决方案，它将为您提供结果表中每个用户的每个字段的最新数据，从而满足您的第二个标准以及第一个和第三个标准。根据GROUP_CONCAT 上的group_concat_max_len 条件，它适用于尽可能多的重复项。它使用GROUP_CONCAT 为每个用户准备一个字段的所有值的列表，并进行排序以使最近的值排在第一位。然后使用SUBSTRING_INDEX 提取该列表中的第一个值，这是最新的。此解决方案使用CREATE TABLE ... SELECT 命令创建一个新的users 表，然后DROPs 旧表并将新表重命名为users。

CREATE TABLE users
    (`id` int, `name` varchar(5), `email` varchar(19), `phone` int)
;

INSERT INTO users
    (`id`, `name`, `email`, `phone`)
VALUES
    (1, 'bill', 'bill@fakeemail.com', 123456789),
    (2, 'bill', 'bill@fakeemail.com', NULL),
    (3, 'susan', 'susan@fakeemail.com', NULL),
    (4, 'john', 'john@fakeemail.com', 123456789),
    (5, 'john', 'john@fakeemail.com', 987654321)
;

CREATE TABLE newusers AS
SELECT id
     , SUBSTRING_INDEX(names, ',', 1) AS name
     , email
     , SUBSTRING_INDEX(phones, ',', 1) AS phone
FROM (SELECT id
           , GROUP_CONCAT(name ORDER BY id DESC) AS names
           , email
           , GROUP_CONCAT(phone ORDER BY id DESC) AS phones
      FROM users
      GROUP BY email) u;

DROP TABLE users;

RENAME TABLE newusers TO users;

SELECT * FROM users

输出：

id  name    email                   phone
1   bill    bill@fakeemail.com      123456789
4   john    john@fakeemail.com      987654321
3   susan   susan@fakeemail.com     (null)

Demo on SQLFiddle