在 MySql 中查找重复的电子邮件并根据条件删除某些电子邮件

Question

我看到了很多查找重复记录并删除它们的方法，但我找不到我要查找的方法，即根据特定条件删除它们。

下面的第一个 SQL 代码取自另一篇文章，非常适合定位重复项。但是，我对第二部分有疑问。

<cfquery datasource="mydatabase" name="duplist">
SELECT  a.*, b.totalCount AS Duplicate
FROM    mytable a
        INNER JOIN
        (
            SELECT  email, COUNT(*) totalCount
            FROM    mytable
            GROUP   BY email
            HAVING  COUNT(*) > 1
        ) b ON a.email = b.email
</cfquery>

<cfoutput query="duplist">
    <CFQUERY DATASOURCE="mydatabase" name="dlist">
    SELECT * FROM mytable
    WHERE userid = '#userid#'
    AND activedate is null
    </CFQUERY>
</cfoutput> 

<cfoutput>
Total To Be Deleted: #dlist.recordcount#
</cfoutput>

我正在尝试使用 SELECT（在将其替换为 DELETE 之前）仅根据输出查询“duplist”和重复的电子邮件记录，那些没有“活动日期”的重复用户电子邮件。我只得到一条记录（在#dlist.recordcount# 中），这是最后一条记录！查询不应该遍历它们吗？

已编辑：

经过一些反馈并检查记录计数不正确，因为它在循环之外。它将在没有 startdate 的情况下检索这些记录。但是，现在真正的问题在于以下场景：

ID   USERID   EMAIL          STARTDATE
1    user1    test@test.com 
2    user2    test@test.com  11/01/2014
3    user3    test@test.com 
4    user4    test@test.com  11/02/2014 
5    user5    me@mydomain.com
6    user6    me@mydomain.com

运行上面的代码会列出这6条重复邮件的记录。第二个查询将选择（删除）那些没有开始日期的，即记录 1、3、5 和 6。两个问题：

1. 记录 1 和 3 将被删除，但记录 2 和 4 仍然重复
2. 记录 5 和 6 将被删除，我的电子邮件中没有用户。我需要保留其中一个。

如何修改代码以应对场景？我想保留记录 #4 和 #6，因为 4 比 2 新，而 6 比 6 新。

4    user4    test@test.com  11/02/2014 
6    user6    me@mydomain.com

Answer 1

您可以使用 Rank() 函数对数据进行排名，并删除未排名为 1 的行。

Oracle 等效于 Rank() 查询以选择 #4 和 #6 数据：

SELECT * FROM
(
SELECT USERNAME, EMAIL, START_DATE, 
        RANK() OVER (PARTITION BY EMAIL ORDER BY START_DATE DESC NULLS LAST, ROWNUM DESC) AS RANK
FROM TEMP_SOL
)
WHERE RANK = 1

可以使用此链接Rank function in MySQL with Order By clause导出Mysql等价物

编辑：非排名解决方案可以是：

首先获取所有重复的电子邮件

<cfquery name="dupEmail" datasource="XXX">
SELECT EMAIL
FROM TEMP_SOL
GROUP BY EMAIL
HAVING COUNT(*) > 1
</cfquery>

循环通过 dupEmail 和

1. 选择不需要删除的用户名。

2. 选择/删除不等于上述用户名但具有相同emailid的用户名。

   <cfloop query="dupEmail">
      <cfquery name="UserToRetain" datasource="XXX">
          SELECT USERNAME FROM TEMP_SOL
          WHERE EMAIL = '#dupEmail.Email#'
          ORDER BY START_DATE DESC NULLS LAST, ROWNUM DESC
          LIMIT 1 
     </cfquery>
   
     <cfquery name="DeleteUsers" datasource="XXX">
            SELECT * FROM TEMP_SOL
            WHERE USERNAME <> '#UserToRetain.USERNAME#' AND EMAIL='#dupEmail.Email#'
     </cfquery>
   
   </cfloop>
   

注意：以上代码未经测试，查询可能无法在 mysql 上运行。

Answer 2

您可以在查询中使用 IN 子句。但首先，您需要创建一个要传递给第二个查询的 userId 列表。您可以像这样使用valueList 来做到这一点

<cfset userIdList = valueList(duplist.userId) />

然后像这样在查询中传递该列表

<CFQUERY DATASOURCE="mydatabase" name="dlist">
    SELECT * FROM myTable WHERE userId IN (#userIdList#) AND activeDate is null
<CFQUERY>

Answer 3

这也可以在单个查询中完成

<CFQUERY DATASOURCE="mydatabase" name="dlist">
 SELECT * FROM myTable 
 WHERE userId IN (SELECT userId
    FROM    mytable 
    GROUP   BY email
    HAVING  COUNT(email) > 1
   ) 
   AND activeDate is null
<CFQUERY>

Answer 4

这是您的原始查询：

SELECT  a.*, b.totalCount AS Duplicate
FROM    mytable a
    INNER JOIN
    (
        SELECT  email, COUNT(*) totalCount
        FROM    mytable
        GROUP   BY email
        HAVING  COUNT(*) > 1
    ) b ON a.email = b.email

你需要做的就是添加：

where a.activeDate is null

你有你的记录。然后，一旦你看到它们，用“删除”这个词替换你的选择子句

编辑从这里开始

由于这仍然会留下重复项，因此在执行上述操作后，请执行以下操作：

select id, email -- can be changed to delete after
from myTable deleteFrom join myTable keep on deleteFrom.email = keep.email
where deleteFrom.id < keep.id

这将保持最新记录。