检查 200 万个文件的重复项

【问题标题】：Checking 2 Million Files for Duplicates检查 200 万个文件的重复项
【发布时间】：2012-06-22 20:44:48
【问题描述】：

我们需要检查 200 万个文件，看看它们是否有任何重复。

最好的方法是什么？

http://www.easyduplicatefinder.com/ 我们用这个工具做了大约 20k 个文件

但很快我们将不得不做 200 万个

关于如何以有效的方式做到这一点的任何想法？

萨斯

【问题讨论】：

【解决方案1】：

在MD5 或SHA-1 中创建校验和（最好，因为发生冲突的可能性较小），或者甚至两者都创建（当发生冲突的可能性非常小时，您可以在知道自己没有犯错的情况下睡得很好）。

然后比较校验和。这将比较内容。如果您还想比较文件的名称，请在比较时将它们考虑在内。

就是这样。相当（非常）可靠。

【讨论】：

您可以通过在发生哈希冲突的地方将文件内容作为二进制字符串进行比较来完全消除误报。
@rambocoder：你不知道它是否是误报，除非你做内容的比较，反正;）这个想法只是为了缩短过程。您可以使用另一种算法（如果尚未创建）准备哈希，而不是每次哈希匹配时比较内容，保存它们（以供将来使用）并进行比较。这样，您将以某种方式对其进行优化（仅在必要时生成额外的哈希）。但是当有很多大的重复项时比较整个内容是很麻烦的。