从 MD5 校验和中备份数据

Question

假设您有一个由 N 个 64 字节元素组成的数组计算得出的 MD5 和。我想用新元素替换源数组中任意索引处的元素。然后，我不想通过 MD5 函数重新运行它来重新计算 MD5 总和，而是想从结果中“减去”旧元素并将新数据“添加”到其中。

为了更清楚一点，这里有一些伪 Scala：

class Block {
  var summary: MD5Result

  // The key reason behind this question is that the elements might not be
  // loaded. With a large array, it can get expensive to load everything just to
  // update a single thing.
  var data: Array[Option[Element]]

  def replaceElement(block: Block, index: Integer, newElement: Element) = {
    // we can know the element that we're replacing
    val oldElement = block.data(index) match {
        case Some(x) => x
        case None    => loadData(index) // <- this is expensive
      }

    // update the MD5 using this magic function
    summary = replaceMD5(summary, index, oldElement, newElement)
  }
}

replaceMD5 可以实现吗？虽然所有迹象都表明“这正在破坏（弱）加密哈希”，但实际的 MD5 算法似乎支持这样做（但我可能遗漏了一些明显的东西）。

Answer 1

我想我更好地理解你现在想要做什么。我下面的解决方案没有假设任何关于 MD5 计算，但涉及 IO 和存储大量 MD5 哈希之间的权衡。它不是计算整个数据集的简单 MD5 哈希，而是计算一个不同的 MD5 哈希，但它应该具有相同的重要属性：对任何元素的任何更改（极大地）都会改变它。

1. 一开始，决定块大小 b 使得
   • 您可以从磁盘（或您所说的任何 IO）中读取 b 值每次更改元素，并且
   • 您可以在内存中保留 2n/b 个 MD5 哈希值。
2. 创建 MD5 哈希的二叉树。这棵树中的每个叶子都是大小为 b 块的 MD5 散列。每个内部节点都是其两个子节点的 MD5 哈希。我们将使用这棵树的根的哈希作为“MD5”哈希。
3. 当元素 i 发生变化时，读取块 RoundDown(i/b) 中的 b 元素，为此计算新的 MD5 哈希，然后将更改传播到树上（这最多需要 log2(n) 步） .