【问题标题】:Merge uniq counters, probabilistic data structures合并 uniq 计数器,概率数据结构
【发布时间】:2017-01-26 15:27:12
【问题描述】:

有两组 1 2 33 432 独特的项目。

现在让我们计算合并集中的唯一项。如果我们只是总结计数器3 + 2 = 5,那就错了(应该是uniq(1 2 3 3 4) = 4)。

有没有办法只使用计数器?对于每个计数器,可以使用一些额外的 constant memory 数据结构来表示原始集合,小错误也可以,假设 95% 的准确率是可以的。

我知道有使用非常少内存 (HyperLogLog) 的概率唯一计数器。但是有没有办法合并两个这样的概率计数器?

【问题讨论】:

    标签: data-structures probability cardinality hyperloglog


    【解决方案1】:

    是的,HyperLogLog 实际上非常自然地允许合并,并且大多数实现都包括合并。简而言之,要将两个 HyperLogLog 结构 A 和 B 合并为一个新的 C,取每个桶对的最大值 C[i] = max(A[i],B[i])。

    【讨论】:

      猜你喜欢
      • 2015-02-03
      • 1970-01-01
      • 2010-10-14
      • 1970-01-01
      • 2023-04-01
      • 1970-01-01
      • 2021-12-12
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多