如何生成唯一的哈希值？

Question

我有 1000 万条记录。每条记录大约有 100 个字段。当我阅读一条记录时，我想确定该记录是否与我之前阅读过的另一条记录重复。重复检查的标准基于 20 个字段并检查是否完全相等。我可以获取新记录并与 20 个字段中的每一个字段的所有先前记录进行比较。

我正在考虑的另一种方法是将 20 个字段散列到一个字段中，并将散列与之前所有记录的散列进行比较。为此，我需要一个哈希函数来赋予我唯一性。我知道有 SHA512、SHA224 等函数。哪个哈希函数适合我的用例？

问候，
亚什

Answer 1

您所追求的是“perfect hashing”。有一种经典的方法，您可以分两步构造散列函数，即通过组合两个散列函数。构造有些复杂，但您可能想研究一下。

Answer 2

我之前也解决过类似的问题，但规模不大，但我会分享我的经验，希望对您有所帮助。这是一个简单的解决方案，由于您使用 java 标签发布了此内容，因此我假设您了解基础知识。 解决方案将分为 3 个部分：

1. 将 20 个参数连接成一个长字符串，以使用 java.lang.String 类的 hash 方法计算一个简单的散列。
2. 通过选择适当的分隔符（例如制表符、换行符、回车符，甚至可能是不太可能存在于记录中的唯一长字符串）来消除预期的冲突。示例：“Stack Exchange 中不太可能存在字符串答案 1234abcd”。你可以让它有整数，字符串，你最喜欢的报价，你想要的任何东西。使用分隔符连接 te 20 个字段。此步骤需要了解您在这 20 个字段中看到的数据，如果它们都是整数，那么像“a”这样的简单字符就可以正常工作。
3. 将记录的哈希值一一计算并存储在 HashSet 中。这样，对于每条新记录，您都可以检查您之前是否看过它并删除它或对它采取任何您想要采取的措施。