查找重复项：GROUP BY 和 DISTINCT 给出不同的答案

Question

我已经查看了有关 group by 和 distinct 的所有问题，它们在允许聚合函数方面似乎有所不同，但没有一个回答我的问题......所以这里是......

我有一个包含 126266 行数据的数据库表，每个完整的行都应该是唯一的，但我没有使用行号。 我试图在这个表中找到所有重复的值（因为我知道它们存在），然后删除它们。没有一列是聚合。

表：

CREATE TABLE [dbo].[DBAScanResults](
    [ScanNumber] [float] NOT NULL,
    [DB_ID] [bigint] NOT NULL,
    [PluginID] [bigint] NOT NULL,
    [PluginID_Version] [bigint] NOT NULL,
    [Result] [nvarchar](50) NULL,
    [ActualValue] [nvarchar](max) NULL

我有外键：ScanNumber、DB_ID、PluginID_Version。每个相关的主键都在不同的表上。 （所以我的数据库目前是四个表）

如果我进行分组，它会给我 12745 行，这是我的重复行：

Select top 1000000 [ScanNumber]
      ,[DB_ID]
      ,[PluginID]
      ,[PluginID_Version]
      ,[Result]
      ,[ActualValue]
  FROM [ITSecMaster].[dbo].[DBAScanResultsNew]
  group by [ScanNumber]
      ,[DB_ID]
      ,[PluginID]
      ,[PluginID_Version]
      ,[Result]
      ,[ActualValue]
      HAVING COUNT(*) >1 

如果我做一个独特的( Select distinct * from [dbo].[DBAScanResults])，它会给我 78,871 行，我猜这是我唯一没有重复的行数。我这里的问题是 12745+78871 不等于 126226 ...

那么到底哪一个是正确的？我有 12745 个重复项还是 47,355 个重复项？ 一旦我确定了哪个是正确的，我就需要从表中删除重复的值......通常我会这样做以删除带有 fk 的值，但我无法为多个 fks 获得正确的语法跨越 2 张以上的桌子。

DELETE a   
FROM DBAScanResults a 
INNER JOIN DBAScanDate b 
ON a.ScanNumber = b.ScanNumber 
WHERE (expression) 

对此的任何帮助将不胜感激。

提前致谢！

Answer 1

你的计数逻辑是错误的，我的也是，直到我想出了一个简单的例子来更好地理解你的问题。想象一个只有一列的简单表格，text：

text
----
A
B
B
C
C
C

正如预期的那样，运行 SELECT COUNT(*) 只会产生 6 条记录。 SELECT DISTINCT text 为 A,B,C 返回 3 条记录。最后，SELECT text 和 HAVING COUNT(*) > 1 仅返回两条记录，分别用于 B 和 C 组。

这些数字都没有加起来。这里的问题是，除了重复的记录之外，不同的选择还会返回不重复的记录。此外，给定的重复记录可能出现更多次。你目前的比较有点像苹果和橘子。

编辑：

如果您想删除六列表中的所有重复项，只保留所有列中的一条不同记录，请尝试使用可删除的 CTE：

WITH cte AS (
    SELECT *, ROW_NUMBER() OVER (PARTITION BY ScanNumber, DB_ID, PluginID,
                                        PluginID_Version, Result, ActualValue
                               ORDER BY (SELECT NULL)) rn
    FROM DBAScanResults
)

DELETE
FROM cte
WHERE rn > 1;