检查给定的哈希在一个非常非常长的列表中

Question

我有一个哈希列表。长长的名单。很长的清单。我需要检查给定的哈希是否在该列表中。

最简单的方法是将哈希存储在内存中（在映射或简单数组中）并检查它。但它需要大量的 RAM/SSD/HDD 内存。超过一个服务器可以处理的。

我想知道在合理的内存使用中是否有一个技巧可以做到这一点。可能有我不熟悉的算法或者特殊的合集？

Answer 1

三个想法-

• 根据这些哈希的结构，您也许可以从 Rainbow Table 的概念中借用一些想法来隐式存储其中的一些。
• 如果您有足够的哈希值，您可以使用 trie 压缩共享前缀的存储空间，但考虑到它们的长度和（可能）一致性，您不会看到很大的节省。
• 您可以将散列拆分为多个较小的散列，然后使用这些散列来实现Bloom Filter，但这是一个概率测试，因此您仍然需要将它们存储在其他地方（或能够计算/派生），如果存在感知的“命中”，但是这可能使您能够过滤掉足够多的“未命中”，从而使性能较低（速度方面）的数据结构变得可行。