哈希函数 MD5 30 长度

Question

从给定的字符串中，我使用MD5 生成 32 位唯一哈希码

    MessageDigest.getInstance("MD5")
             .digest("SOME-BIG-STRING").map("%02x".format(_)).mkString

    //output: 47a8899bdd7213fb1baab6cd493474b4

是否可以生成 30 位而不是 32 位，如果这样做会有什么问题？

还有其他哈希算法可用于支持 30 个字符长和 1 万亿个唯一字符串的冲突概率吗？

安全性不重要，唯一性是必需的。

Answer 1

对于从字符串生成唯一 ID，哈希函数永远不是正确答案。

您需要定义文本字符串（例如“v1.0.0”）到 30 个字符长的字符串（例如“123123...”）的一对一映射。这也称为 bijection，尽管在​​您的情况下，injection（从输入到输出的简单一对一映射，不一定到）可能就足够了。正如撰写本文时的另一个答案，哈希函数不一定能确保这种映射，但还有其他可能性，例如全周期linear congruential generators（如果它们采用您可以一对一映射的种子）一到输入字符串值），或其他可逆函数。

但是，如果可能的输入字符串集大于可能的输出字符串集，则由于 @ 987654322@.

另请参阅此问题：How to generate a GUID with a custom alphabet, that behaves similar to an MD5 hash (in JavaScript)?。

确实，如果您使用哈希函数，碰撞的机会将接近于零，但绝不会完全为零（这意味着重复的风险将始终存在）。如果我们以 MD5 为例（它产生 2^128 个哈希码中的任意一个），那么粗略地说，只有在生成 2^64 个 ID 后，意外碰撞的可能性才变得不可忽略，远远超过 1 万亿。

但是 MD5 和其他哈希函数并不是做你想做的事情的正确方法。这将在后面讨论。

---

如果您不能将输入字符串的格式限制为 30 位，不能将它们压缩到 30 位或更少，并且不能容忍重复的风险，那么下一个最好的办法是创建一个数据库表将您的输入字符串映射到随机生成的 ID。

这个数据库表应该有两列：一列保存您的输入字符串（例如，“<UUID>-NAME-<UUID>”），另一列保存与这些字符串关联的随机生成的 ID。由于随机数并不能保证唯一性，所以每次创建新的随机 ID 时都需要检查数据库中是否已经存在随机 ID，如果确实存在，请尝试新的随机 ID（但有可能出现重复的发现会随着 ID 大小的增长而缩小）。

Answer 2

是否可以生成 30 位而不是 32 位，如果这样做会有什么问题？

1. 是的。

2. 您将发生碰撞的概率增加了 2 倍⁸。

还有其他哈希算法可用于支持 30 个字符长和 1 万亿个唯一字符串的冲突概率吗？

大概吧。取任何加密强度哈希算法产生的哈希的前 30 个十六进制数字具有大致相同的唯一性属性。

安全不重要，需要唯一性？

在这种情况下，MD5 不再被认为是安全的这一事实没有实际意义。 （请注意，MD5 不再被认为是安全的原因是 engineer 冲突在计算上是可行的；即 find 给定 MD5 哈希的第二个输入。）

但是，不能保证哈希的唯一性。即使使用生成 N 位散列的“完美”加密强度散列函数，任何 2 个任意（不同）输入的冲突概率也是 2^N 分之一。对于足够大的 N 值，概率非常小。但它永远不会是零。