个人人口统计信息的模糊数据匹配

Question

假设我有一个数据库，其中包含以下数据元素：

• PersonID（无意义的代理自动编号）
• 名字
• MiddleInitial
• 姓氏
• 名称后缀
• 出生日期
• AlternateID（如 SSN、军事 ID 等）

我从各种格式中获得了大量数据馈送，这些数据包含您能想到的这些信息的每一种合理变化。一些例子是：

• 全名，出生日期
• 全名，最后 4 个 SSN
• 第一名，最后一名，出生日期

当这些数据进来时，我需要写一些东西来匹配它。我不需要或期望获得超过 80% 的匹配率。自动匹配后，我会将不确定的匹配呈现在网页上，供人手动匹配。

其中一些复杂性是：

1. 某些数据匹配比其他数据更好，我想为这些匹配分配权重。例如，如果 SSN 完全匹配但名称因某人使用中间名而关闭，则与名称完全匹配但 SSN 关闭时相比，我希望为该匹配分配更高的置信度值。
2. 名称匹配有一些困难。 John Doe Jr 与 John Doe II 相同，但与 John Doe Sr. 不同，如果我得到 John Doe 而没有其他信息，我需要确保系统不会选择一个，因为无法确定选择谁。
3. 名字匹配真的很难。你有 Bob/Robert、John/Jon/Jonathon、Tom/Thomas 等。
4. 仅仅因为我有一个包含 FullName+DOB 的提要，并不意味着每条记录都填写了 DOB 字段。我不想因为不匹配的 DOB 杀死匹配的分数而错过一个链接。如果缺少某个字段，我想将其从可匹配的元素中排除。
5. 如果有人手动匹配，我希望他们的匹配影响所有未来的匹配。因此，如果我们再次获得相同的准确数据，下次没有理由不自动匹配它。

我已经看到 SSIS 具有模糊匹配，但我们目前不使用 SSIS，而且我发现它非常笨拙，几乎不可能进行版本控制，因此它不是我的首选工具。但如果这是最好的，请告诉我。否则，是否有任何（最好是免费的，最好是基于 .NET 或 T-SQL 的）工具/库/实用程序/技术用于解决此类问题？

Answer 1

这是一个名为record linkage的问题。

虽然它是针对 python 库的，但 dedupe 的文档提供了 good overview of how to approach the problem comprehensively。

Answer 2

如果误报没有困扰您并且您的语言主要是英语，您可以尝试像Soundex 这样的算法。 SQL Server 将其作为内置函数。 Soundex 不是最好的，但它确实进行了模糊匹配并且很受欢迎。另一种选择是变音位。

Answer 3

您可以通过多种方式解决此问题，但在完成此类事情之前，我将继续并在这里提出，您在人与人之间出现“不正确”匹配时会冒很大风险。

您的输入数据非常稀疏，如果不是所有值都存在，那么它并不是最独特的。

例如，对于您的名字、姓氏、出生日期的情况，如果您拥有所有记录的所有三个部分，那么您可以更轻松地进行匹配。如果不是，尽管您将自己暴露在很多潜在的问题中。

从更“粗略”的角度来看，您可能会采取的一种方法是使用一系列查询来简单地创建一个流程，这些查询可以简单地识别和分类匹配的条目。

例如，首先检查姓名和 SSN 是否完全匹配，如果存在标记，请将其标记为 100%，然后继续下一组。然后，您可以明确定义模糊的位置，以便了解匹配的潜在后果。

最后，您将获得一个列表，其中包含指示匹配类型的标志（如果该记录有）。

Answer 4

看看 Levenshtein 算法，它可以让您获得“两个字符串之间的距离”，然后可以将其除以字符串的长度以获得百分比匹配。

http://en.wikipedia.org/wiki/Levenshtein_distance

我之前已经成功地实现了这一点。它是一家医疗保健公司的供应商门户，供应商在该网站上注册了自己。匹配是通过他们的门户注册并在主要的医疗保健系统中找到相应的记录。参与此操作的处理者将获得最可能的匹配项，按百分比降序排列，并且可以轻松选择正确的帐户。