我必须经常在大型（高达 1G）格式的 CSV 数据库中搜索哈希
sha256_hash, md5_hash, sha1_hash, field1, field2, field3 etc
在 C 中。这需要非常快，并且内存使用不是问题（最低 32G）。我发现this 与我的想法非常接近：将数据加载到 RAM 中，按哈希对数据库进行一次性排序，按哈希的前 'n' 个字节索引，然后搜索较小的子列表。但是上面的线程似乎没有解决我中间的一个问题。由于我不是密码学专家，我想知道哈希的分布以及它是否可以用来更快地搜索子列表。关于这个或我的一般方法有什么建议吗？
【问题讨论】：
是的，布隆过滤器可用于通过散列位的分布及早剔除“明确的否定”。
http://en.wikipedia.org/wiki/Bloom_filter
要为给定的存储桶创建布隆过滤器，逻辑或所有哈希值一起创建您的过滤器。然后将过滤器与您的目标哈希进行逻辑与。如果结果
必须注意桶的大小，以便生成有意义的过滤器，因为所有高位的过滤器对任何人都没有价值。
【讨论】：
这是一个非常容易解决的问题，需要大量内存。使散列成为散列表的键。将您提供给表的散列设为散列的前 N 个字节（因为它们是如此随机，以至于地球上没有人可以将它们与真正的随机数据区分开来）。
不确定您的想法是如何使用键的前缀键入表并具有子列表。任何库存库提供的哈希表都可以轻松解决您的问题。
或将其放入任何数据库中，并将哈希作为主键。
【讨论】：
散列的分布是均匀的，这很有帮助，因为您可以将散列放在散列表中。
// something like this...
struct entry {
bool used;
unsigned char sha256[32];
char field1[20];
char field2[20];
};
如果您不需要从哈希表中删除条目，只需创建一个 struct entry 的大数组并将 CSV 中的记录插入到与 SHA-256 哈希中的某些位相对应的索引中。使用线性探测插入条目：如果条目 i 被占用，则使用 i+1 或 i+2，直到找到空闲条目。
struct table {
int nbits;
struct entry *entries;
};
unsigned read_int(unsigned char *data)
{
unsigned v = data[0] | (data[1] << 8) |
(data[2] << 16) | ((unsigned)data[3] << 24);
}
struct entry *find_entry(struct table *table, unsigned char *sha256)
{
unsigned index = read_int(sha256);
unsigned mask = (1u << table->nbits) - 1;
while (1) {
struct entry *e = &table->entries[index & mask];
if (!e->used)
return NULL;
if (!memcmp(e->sha256, sha256, 32))
return e;
index++;
}
}
【讨论】：