在一个或多个字段上分组时查找列表中的重复对象

Question

我需要在列表中找到与列表中至少一个其他对象相交的所有对象。这是由几个设置决定的：

1. “重复检查”字段列表（例如，Person 可以与 FirstName、LastName 或 DOB 相交）。
2. 两个人相交的最小字段数必须相等（例如，如果数字是 2，如果人 A 和人 B 有相同的FirstName 和LastName，相同的@987654326，则他们将相交@ 和 DOB，或相同的 LastName 和 DOB)。

确定这一点的最有效方法是什么？目前，使用带有GROUP BY 语句的SQL 和临时表是最高效的，但还不够好。我尝试在 C#/LINQ 中使用字典和硬编码各种属性检查，但情况更糟。我一直在研究不相交的集合和 Levenshtein 距离，但这对于大型列表来说似乎同样低效。这只是一个 NP 完全问题吗？

Answer 1

您必须将使用 UNPIVOT 的表格更改为这种格式

如果您没有user_id，您可以使用row_number() 创建一个

 USER_ID, FIELDNAME  , VALUE
   1    , "LastName" , "Smith"
   1    , "FirstName", "Jhon"
   1    , "DOB"      , "15/09/48"

然后执行此连接

SELECT T1.user_id, T2.user_id, count(T2.FieldName)
FROM Table1 T1
LEFT JOIN Table1 T2
  on T1.UserID > T2.UserID
 and T1.FIELDNAME = T2.FIELDNAME
 and T1.Value = T2.Value
GROUP BY T1.user_id, T2.user_id
HAVING count(T2.FieldName)  >= 2