用于过滤无模式集合的最快数据结构

Question

假设我有一个收藏

var data = [
  { fieldA: 5 },
  { fieldA: 142, fieldB: 'string' },
  { fieldA: 1324, fieldC: 'string' },
  { fieldB: 'string', fieldD: 111, fieldZ: 'somestring' },
  ...
];

让我们假设元素之间的字段不统一，但我事先知道唯一字段的数量，并且集合不是动态的。

我想用_.findWhere 之类的东西过滤它。这很简单，但是如果我想优先考虑速度而不是轻松怎么办？是否有更好的数据结构可以始终最小化要检查的元素数量？也许是某种树？

Answer 1

是的，如果您的查询属于“给我所有带有 fieldX=valueY 的记录”类型，那么会有更快的速度。但是，它确实有开销。

对于每个字段，构建一个倒排索引，列出具有每个值的所有记录 ID（= 原始 data 中的行位置）：

var indexForEachField = {
    fieldA: { "5": [0], "142": [1], "1324": [2]},
    ...
}

当有人要求“fieldX=valueY 的记录”时，您返回

indexForEachField["fieldX"]["valueY"]; // an array with all results

因此查找时间是恒定的（并且只需要在表中查找 2 次），但您确实需要保持索引是最新的。

这是搜索引擎用来查找具有特定术语的网页的策略的概括；在这种情况下，它被称为inverted index。

---

编辑：如果您想查找所有 fieldX=valueX 和 fieldY=valueY 的记录怎么办？

您将使用以下代码，它需要所有输入数组 待排序：

var a = indexForEachField["fieldX"]["valueX"];
var b = indexForEachField["fieldY"]["valueY"];
var c = []; // result array: all elements in a AND in b
for (var i=0, j=0; i<a.length && j<b.length; /**/) {
    if (a[i] < b[j]) {
       i++;
    } else if (a[i] > b[j]) {
       j++;
    } else {
       c.push(a[i]);
       i++; j++;
    }
}

你可以看到，在最坏的情况下，总复杂度正好是a.length + b.length；而且，在最好的情况下，一半。您可以使用非常相似的东西来实现 OR。