具有单个哈希函数的 LogLog 算法如何工作

Question

我已经找到了数十种关于 LogLog 算法基本思想的解释，但它们都缺乏关于 hash 函数结果拆分如何工作的细节？ 我的意思是使用单个 hash功能不精确，而使用许多功能太昂贵。 他们如何克服单一哈希函数的问题？

This answer 是我找到的最好的解释，但对我来说仍然没有意义：

他们使用一个散列，但将其分成两部分。一个被称为 桶（桶的总数是 2^x）和另一个 - 基本上是 和我们的哈希一样。我很难理解发生了什么，所以我 将举一个例子。假设你有两个元素和你的哈希 给出从 0 到 2^10 的值的函数产生 2 个值：344 和 387. 你决定有 16 个桶。所以你有：

0101 011000  bucket 5 will store 1
0110 000011  bucket 6 will store 4

你能解释一下上面的例子吗？你应该有 16 个桶，因为你有长度为 4 的标题，对吧？那么如何才能拥有 16 个只有两个哈希的桶呢？我们只估计桶，对吗？所以第一个桶大小为 1，第二个桶大小为 4，对吧？如何合并结果？

Answer 1

OronNavon 提到的original HyperLogLog paper 是相当理论化的。如果您正在寻找基数估计的解释而不需要复杂的分析，您可以查看我目前正在处理的论文：http://oertl.github.io/hyperloglog-sketch-estimation-paper。它还提供了原始估计量的一般化，不需要对小基数或大基数进行任何特殊处理。

Answer 2

散列函数拆分：我们的目标是使用多个 hyperloglog 结构（例如，假设 16 个 hyperloglog 结构，每个结构使用 64 位散列函数）而不是一个，以减少估计误差。一种直观的方法可能是处理每个超日志结构中的每个输入。但是，在这种情况下，我们需要确保 hyperloglog 彼此独立，这意味着我们需要一组 16 个彼此独立的哈希函数——这很难找到！

所以我们使用了另一种方法。我们将使用 16 个独立的 hyperloglog 结构，而不是使用一系列 64 位散列函数，每个结构仅使用一个 60 位散列函数。我们如何做到这一点？很简单，我们采用 64 位散列函数并忽略前 4 位，生成一个 60 位散列函数。我们如何处理前 4 位？我们使用它们从 16 个“桶”中选择一个（每个“桶”只是一个 hyperloglog 结构。注意 2^4 位=16 个桶）。现在，每个输入都被分配给 16 个桶中的一个，其中使用 60 位哈希函数来计算超对数日志值。所以我们有 16 个 hyperloglog 结构，每个都使用一个 60 位的散列函数。假设我们选择了一个不错的哈希函数（意味着前 4 位是均匀分布的，并且它们与其余 60 位不相关），我们现在有 16 个独立的超对数结构。我们对他们的 16 个估计值进行调和平均，以得到更不容易出错的基数估计值。

希望能解决这个问题！