为什么哈希表的大小为 127（素数）优于 128？

Question

假设简单的统一散列，也就是说，任何给定的值都同样喜欢散列到散列的任何槽中。为什么使用大小为 127 而不是 128 的表更好？我真的不明白 2 数字的幂有什么问题。或者它实际上有什么不同。

使用除法时， 我们通常避免某些值 米（表大小）。例如，米 不应该是 2 的幂，因为如果 m = 2^p ，那么 h(k) 就是 k 的 p 个最低位。

假设可能的元素只有 1 到 10000 之间，我选择表大小为 128。127 怎么能更好？ 所以 128 是 2^6 (1000000) 而 127 是 0111111。这有什么区别？对于 127，所有数字（当散列时）仍将是 k 的 p 最低位。我是不是搞错了什么？

我正在寻找一些例子，因为我真的不明白为什么这很糟糕。提前非常感谢！

PS：我知道： Hash table: why size should be prime?

Answer 1

如果你有一个均匀分布的完美哈希函数，那没关系。

Answer 2

首先，这不是选择质数。对于您的示例，如果您知道您的数据集将在 1 到 10,000 的范围内，那么选择 127 或 128 不会有任何区别，因为这是一个糟糕的设计选择。

相反，为您的示例选择一个非常大的素数（例如 3967）会更好，这样每个数据都会有自己唯一的键/值对。您只想尽量减少碰撞。为您的示例选择 127 或 128 不会产生影响，因为所有 127/128 存储桶都将被均匀填充（这很糟糕，并且会降低插入和查找运行时间 O(1) 到 O(n)），而不是 3967 （这将保留 O(1) 运行时间）

编辑#4

“哈希函数”的设计是 有点黑色艺术。有可能 受数据影响很大 打算存储在 基于散列的数据结构，所以 关于合理散列的讨论 函数经常会误入一个 讨论具体意见。

作为“首选”素数的原因，有 考虑“对手”分析， 那就是假设我设计了一个将军 基于散列的数据结构，如何 考虑到最差的输入，它会执行吗 来自对手。自表现 由散列冲突决定 问题变成什么是哈希 使用，最大限度地减少碰撞 最坏的情况。一种这样的条件是 当输入总是数字时 可以被某个整数整除，比如 4。如果 你使用 N = 128 然后任何数字 可被 4 mod 128 整除仍然是 能被 4 整除，这意味着只有 第 4、8、12 号桶……总是永远 使用，导致25％的利用率 数据结构。有效地启动 减少了这种可能性 场景发生，数字 > N。

Answer 3

维基百科其实有一个很好的总结：

http://en.wikipedia.org/wiki/Hash_table

他们指出，一些散列函数被设计为只对素数进行操作。这篇文章解释了为什么二的幂是不好的：

http://www.concentric.net/~Ttwang/tech/primehash.htm

Answer 4

尼克说得对，一般来说，哈希表的大小并不重要。但是，在使用 双散列 的 开放寻址 的特殊情况下（其中探测之间的间隔由另一个散列函数计算），然后使用素数大小的散列表最好确保所有哈希表条目都可用于新元素（如 Corkscreewe 所述）。

Answer 5

对于 127，所有数字（经过哈希处理后）仍将是 k 的 p 最低位。

那是错误的（或者我误解了..）。 k % 127 取决于 k 的所有位。 k % 128 仅取决于 7 个最低位。

---

编辑：

如果您有 1 到 10,000 之间的完美分布。 10,000 % 127 和 10,000 % 128 都将把它变成一个极好的更小的分布。所有存储桶将包含 10,000 /128 = 78（或 79）个项目。

如果您的分布在 1 到 10,000 之间存在偏差，因为 {x, 2x, 3x, ..} 出现的频率更高。然后，如answer 中所述，素数大小将提供更好的分布。 （除非 x 正好是那个素数。）

因此，切断高位（使用大小为 128）是没有问题的，如果低位的分布足够好。但是，对于真实数据和设计糟糕的哈希函数，您将需要那些高位。

Answer 6

我无法再证明它了，虽然我记得在一百万年前的大学考试中必须这样做，但最佳哈希大小不仅仅是素数。你想选择一个素数 N 使得N = 4*M − 1 （其中 M 也是一个整数）。

这使得 31 比 29 更好。当 N 为 31 时，M 为 8，但当 M 为 31 时，没有整数N 是 29。

正如我所说，我不再记得证明这一点的数学。大约 25 年前，这是 Udi 的妻子 Rachel Manber 教授的理论课程。

Answer 7

划分方法

"在使用除法的时候，我们通常会避免m的某些值 （表大小）。例如，m 不应该是2 的幂，因为如果 m = 2<sup>p</sup> ，那么 h(k) 就是 p 的最低位 k。"

--CLRS

要了解为什么m = 2<sup>p</sup> 只使用k 的最低位p，您必须首先了解模哈希函数h(k) = k % m。

密钥可以写成商q，余数r。

k = nq + r

选择商为q = m 允许我们将k % m 简单地写为上述等式中的余数：

k % m = r = k - nm,  where r < m

因此，k % m相当于连续减去m一共n次（直到r < m）：

k % m = k - m - m - ... - m,  until r < m

让我们尝试用m = 2<sup>4</sup> = 16 散列密钥k = 91。

  91 = 0101 1011
- 16 = 0001 0000
----------------
  75 = 0100 1011
- 16 = 0001 0000
----------------
  59 = 0011 1011
- 16 = 0001 0000
----------------
  43 = 0010 1011
- 16 = 0001 0000
----------------
  27 = 0001 1011
- 16 = 0001 0000
----------------
  11 = 0000 1011

因此，91 % 2<sup>4</sup> = 11 只是91 的二进制形式，只剩下p=4 的最低位。

---

重要区别：

这特别适用于散列的除法。事实上，对于 CLRS 中所述的 乘法方法，反之亦然：

“乘法方法的一个优点是 m 的值并不重要......我们通常选择 [m] 为 2 的幂，因为这样我们就可以在大多数计算机上轻松实现该功能。”

Answer 8

我相信这只是与计算机工作的事实有关 以 2 为底。以 10 为底也会发生类似的情况。

...

选择一个足够大的非二次幂数将确保哈希函数确实是所有输入位的函数，而不是 它们的一个子集。

来自Why hash tables should use a prime-number size。

Answer 9

这是一种理解“k % 127 取决于 k 的所有位。k % 128 仅取决于 7 个最低位的方法。” .
k % 128 等于 k ​​& (2^7-1) 。例如：129 % 128 = 1 ，二进制：1000 0001 & 0111 1111 =0000 0001，(2^7-1) 的任何高位将是0 ，表示高位无关紧要。但此转换对于不等于 2^n 的数字无效。
现在让我们看看我们如何在十进制 129 % 127 中进行除法，首先看最高位置 1，小于 127，然后我们得到下一项 2 与拳头结合得到 12，12 小于 127，然后结合用 9 表示 129，除以 127 余数是 2，我们可以用数学写成：129 = 1 * 127 +2，所以我们得到 2 [所有这些都称为Long_division]，在二进制除法中也是如此，现在，我们知道 k % 127 取决于 k 的所有位