与此哈希码函数发生 HashCode 冲突的可能性有多大？

Question

在以下情况下，与下面的函数发生 HashCode 冲突的可能性有多大。

1. key[0],key[1],key[2],key[3] 的随机 int 值
2. 具有以下约束的随机键值
   • 键[0]
   • 键[1]
   • 键[2]
   • 键[3]

假设我们有 1000 万个对象。

int[] key=new int[4];    
public override int GetHashCode()
{
    // Use large prime multiples to create a unique hash key
    // Create the hash offsets using a "even powers of 2 minus 1" method, which gives 
    // primes most of the time.  
    int hashKey = 0;
    hashKey += 2047 * key[0];
    hashKey += 8191 * key[1];
    hashKey += 32767 * key[2];
    hashKey += 131071 * key[3];
    return hashKey;
}

Answer 1

这是一个奇怪的问题。让我们从代码中明显的错误开始：

// Use large prime multiples to create a unique hash key     
// Create the hash offsets using a "even powers of 2 minus 1" method, which gives      
// primes most of the time.   

首先，这些都是二减一的奇次幂；它们都不是二减一的幂。

其次，在您选择作为“大素数倍数”的四个乘数中，有一半不是素数。 2047 和 32767 是复合的。

第三，如果我们“正确”——而且我使用这个词是明智的——陈述是“2 的奇数次幂减一，它在大多数情况下给出素数”，该陈述是荒谬的错误的。这种形式的素数称为梅森素数，已知的梅森素数只有 47 个。我向你保证，梅森素数的密度远低于二分之一。这么说吧：在 2^1-1 和 2^43112609−1 之间的奇次幂梅森数中，已知有 46 个是素数，大约是百万分之一，而不是一半。

第四，你认为质数与什么有什么关系？素数有什么神话般的力量？当然，重要的是散列码的分布往往不会产生散列表大小的倍数。由于哈希表的大小被选择为素数，这似乎是潜在的加剧问题。

第五，哈希键不唯一；您的问题是关于它们何时发生碰撞，因此显然它们不可能是唯一的。

第六，假设您的哈希函数在 32 位整数空间中具有完全随机分布。通过生日“悖论”，您预计从 32 位空间中随机抽取一千万个数字时，发生至少一次碰撞的可能性远远大于 99%。事实上，预计的碰撞次数将在十或两万次左右。 （我们可以计算出预期碰撞的确切数量，但谁在乎它究竟是什么；它在那个数量级。）

是不是冲突太多了？比随机分布做得更好是非常困难的。如果您需要更少的冲突，那么您一开始就不应该使用 32 位散列算法。

第七，谁在乎哈希函数在其整个范围内有多少次冲突？当然，实际问题应该是“这个散列如何处理大表中的实际数据？”与我们不同，您可以通过尝试来回答这个问题。如果它符合您的性能预算，很好，请担心其他事情。如果没有，请在开始指责散列函数之前弄清楚为什么不这样做。

我对这个问题以及您希望从它的答案中获得什么感到非常困惑。你能解释一下吗？

Answer 2

我写了一个快速脚本来测试这个。

import random

def hash(key):
    hashKey = 0
    hashKey += 2047 * key[0]
    hashKey += 8191 * key[1]
    hashKey += 32767 * key[2]
    hashKey += 131071 * key[3]
    return hashKey

seen = set()
collisions = 0
for i in range(0,10000000):
    x = hash([random.randint(0,1000000), random.randint(0,10000), random.randint(0,1000), random.randint(0,1000)])
    if x in seen:
        collisions += 1
    else:
        seen.add(x)

print collisions

当我运行它时，它告诉我我遇到了 23735 次碰撞。 我还在 100 万个元素上进行了尝试，得到了 247 次碰撞。这两个数字都是 4 次运行的平均值。

Answer 3

我想说你应该使用

int hashKey = key[0].GetHashCode();
hashKey ^= key[1].GetHashCode();
hashKey ^= key[2].GetHashCode();
hashKey ^= key[3].GetHashCode();

因为它会给出更好的结果，但是当我测试它时，我感到非常惊讶。无论如何都要发布结果，因为作为一名科学家“你没想到的结果仍然是结果”。

Collisions1 是你的方法，Collisions2 是我的方法，这是 4 次运行的结果

Collisions1: 23744
Collisions2: 8996107

Collisions1: 23825
Collisions2: 8996215

Collisions1: 23771
Collisions2: 8996119

Collisions1: 24031
Collisions2: 8996157