哈希冲突的概率

Question

我正在寻找一些基于生日悖论的关于 MD5、SHA1 和 SHA256 冲突可能性的精确数学。

我正在寻找类似图表的东西，上面写着“如果你有 10^8 个键，这就是概率。如果你有 10^13 个键，这就是概率等等”

我查看了大量文章，但很难找到能够提供这些数据的内容。 （对我来说，理想的选择是计算任何提供的哈希大小的公式或代码）

Answer 1

假设我们有一个真正的随机散列函数，可以从字符串散列到 n 位数字。这意味着有 2ⁿ 个可能的哈希码，并且每个字符串的哈希码都是从所有这些可能性中均匀随机选择的。

生日悖论明确表示，一旦您看到大约 √(2k) 个项目，就有 50% 的机会发生碰撞，其中 k 是不同的可能输出的数量。在散列函数散列到 n 位输出的情况下，这意味着在发生冲突之前您将需要大约 2^n/2 个散列。这就是为什么我们通常选择输出 256 位的散列；这意味着我们需要一个惊人的 2¹²⁸ ≈10³⁸ 项散列，然后才有“合理”的碰撞机会。使用 512 位哈希，您需要大约 2²⁵⁶ 才能获得 50% 的碰撞机会，而 2²⁵⁶ 是 approximately the number of protons in the known universe。

与一个 n 位散列函数和 k 个散列的字符串发生冲突的概率的确切公式是

1 - 2ⁿ！ / (2^kn (2ⁿ - k)!)

这是一个很难直接处理的量，但我们可以使用表达式得到这个量的近似值

1 - e^-k2/2n+1

所以，为了得到（大致）碰撞概率 p，我们可以求解得到

p ≈ 1 - e^-k2/2n+1

1 - p ≈ e^-k2/2n+1

ln(1 - p) ≈ -k²/2ⁿ⁺¹

-ln(1 - p) ≈ k²/2ⁿ⁺¹

-2ⁿ⁺¹ ln(1 - p) ≈ k²

2^(n+1)/2 √(-ln(1 - p)) ≈ k

作为最后一个近似值，假设我们正在处理 非常 个很小的 ​​p 选择。那么 ln(1 - p) ≈ -p，所以我们可以重写为

k ≈ 2^(n+1)/2 √p

注意这里还有一个怪物 2^(n+1)/2 项，所以对于 256 位哈希，前导项是 2^128.5，即只是巨大的。例如，我们必须看到多少项才能获得 2^-50 的机会与 256 位哈希发生冲突？那大约是

2^(256+1)/2 √2^-50

= 2^257/2 2^-50/2

= 2^207/2

= 2^103.5.

因此，您需要惊人地 大量的哈希值才能有几乎 小概率发生冲突。图 2^103.5 大约是 10³¹，在计算每个哈希值 1 纳秒的情况下，这将花费您比计算宇宙的长度更长的时间。毕竟，你会得到 2^-50 的成功概率，大约是 10^-15。

事实上，这正是我们为哈希选择如此大量位的原因！这使得偶然发生碰撞的可能性极小。

（请注意，我们今天拥有的哈希函数实际上并不是真正的随机函数，这就是为什么人们建议不要使用 MD5、SHA1 和其他已经暴露安全漏洞的函数。）

希望这会有所帮助！