通过未排序的列表改进搜索

Question

我的代码花费了 40% 的时间来搜索未排序的向量。更具体地说，搜索函数my_search 重复接收长度为N 的单个未排序向量，其中N 可以取10 到100,000 之间的任何值。与每个元素相关的权重变化相对较小（例如 [0.8, 0.81, 0.85, 0.78, 0.8, 0.7, 0.84, 0.82, ...]）。

算法my_search 首先将每个对象的所有权重相加，然后对N 元素（与向量的长度一样多）进行平均采样并替换。该算法与

非常相似

int sum_of_weight = 0;
for(int i=0; i<num_choices; i++) {
   sum_of_weight += choice_weight[i];
}
int rnd = random(sum_of_weight);
for(int i=0; i<num_choices; i++) {
  if(rnd < choice_weight[i])
    return i;
  rnd -= choice_weight[i];
}

来自this post。

我可以在搜索之前对向量进行排序，但需要花费 O(N log N) 的时间（取决于使用的排序算法），我怀疑（但可能是错误的，因为我没有尝试过）我会获得更多时间，尤其是在权重变化不大的情况下。

另一种解决方案是存储一系列点之前有多少重量的信息。例如，在对向量求和时，每 N/10 个元素，我可以存储已经求和了多少权重的信息。然后，我可以先将rnd 与这 10 个断点进行比较，然后只在向量总长度的十分之一中进行搜索。

• 这是一个好的解决方案吗？
• 我描述的过程有名称吗？
• 如何根据N 估算要存储的正确断点数？
• 有更好的解决方案吗？

Answer 1

log(N)解决方案

{
    std::vector<double> sums;
    double sum_of_weight = 0;
    for(int i=0; i<num_choices; i++) {
       sum_of_weight += choice_weight[i];
       sums.push_back(sum_of_weight);
    }

    std::vector<double>::iterator high = std::upper_bound(sums.begin(), sums.end(), random(sum_of_weight));

    return std::distance(sums.begin(), high);
}

基本上与您对解决问题的更好方法的想法相同，但不是仅存储十分之一的元素，而是存储所有元素并使用二分搜索查找最接近您的值的元素的索引。

---

分析

即使这个解决方案是O(logN)，你真的必须问问自己是否值得。是否值得创建一个额外的向量，从而累积额外​​的时钟周期来存储向量中的内容、向量调整大小所需的时间、调用函数执行二进制搜索所需的时间等？

当我在写上面的内容时，我意识到你可以使用 deque 来代替，这几乎可以消除因必须调整大小和复制向量内容而对性能造成的影响，而不会影响 O(1) 查找向量。

所以我想问题仍然存在，是否值得将元素复制到另一个容器中，然后只进行 O(logN) 搜索？

结论

TBH，我认为您从这次优化中收获不大。事实上，我认为您获得了 O(logN) 的开销。