【问题标题】:efficient union of n sorted arrays in C++ (set vs vector)?C ++中n个排序数组的有效联合(集合与向量)?
【发布时间】:2018-10-03 19:35:28
【问题描述】:

我需要实现一种有效的算法来从多个排序数组中查找排序联合。因为我的程序做了很多这类操作,所以我用 C++ 模拟了它。我的第一种方法(方法 1)是简单地创建一个空向量并将其他向量中的每个元素附加到空向量,然后使用 std::sort 和 std::unique 来获得所有元素的所需排序联合。但是,我认为将所有向量元素转储到一个集合(方法 2)中可能会更有效,因为集合已经使它们变得独一无二并一次性排序。令我惊讶的是,方法 1 比方法 2 快 5 倍!我在这里做错了吗?方法2不应该更快,因为它的计算量更少吗?提前致谢

//// 带有向量的方法1:

std::vector<long> arr1{5,12,32,33,34,50};
std::vector<long> arr2{1,2,3,4,5};
std::vector<long> arr3{1,8,9,11};

std::vector<long> arr;

int main(int argc, const char * argv[]) {

double sec;
clock_t t;
t=clock();
for(long j=0; j<1000000; j++){ // repeating for benchmark
    arr.clear();
    for(long i=0; i<arr1.size(); i++){
        arr.push_back(arr1[i]);
    }
    for(long i=0; i<arr2.size(); i++){
        arr.push_back(arr2[i]);
    }
    for(long i=0; i<arr3.size(); i++){
        arr.push_back(arr3[i]);
    }
    std::sort(arr.begin(), arr.end());
    auto last = std::unique(arr.begin(), arr.end());
    arr.erase(last, arr.end());
}
t=clock() - t;
sec = (double)t/CLOCKS_PER_SEC;
std::cout<<"seconds = "<< sec <<" clicks = " << t << std::endl;

return 0;
}

//// 带集合的方法2:

std::vector<long> arr1{5,12,32,33,34,50};
std::vector<long> arr2{1,2,3,4,5};
std::vector<long> arr3{1,8,9,11};

std::set<long> arr;

int main(int argc, const char * argv[]) {

double sec;
clock_t t;
t=clock();
for(long j=0; j<1000000; j++){ //repeating for benchmark
    arr.clear();
    arr.insert(arr1.begin(), arr1.end());
    arr.insert(arr2.begin(), arr2.end());
    arr.insert(arr3.begin(), arr3.end());
}
t=clock() - t;
sec = (double)t/CLOCKS_PER_SEC;
std::cout<<"seconds = "<< sec <<" clicks = " << t << std::endl;

return 0;
}

【问题讨论】:

  • 如果数组已排序,为什么不合并它们并在合并时立即跳过相同的值,而不是事后过滤掉它们?
  • 我们可以合并它们并保持联合排序吗?我没有想到这一点。你能详细说明一下吗?谢谢
  • 在每个数组中使用一个读取索引;总是先取三个元素中最小的一个;跳过任何重复...
  • 额外的数据结构会增加一些开销。我猜想 std::sort 能够利用数组已经部分排序的事实。相反,按顺序插入集合可能会导致不平衡的树,需要经常重新平衡。

标签: c++ algorithm performance


【解决方案1】:

这是使用 2 个向量的方法。您可以轻松地将过程推广到 N 个向量。

vector<int> v1{ 4, 8, 12, 16 };
vector<int> v2{ 2, 6, 10, 14 };

vector<int> merged;
merged.reserve(v1.size() + v2.size());

// An iterator on each vector
auto it1 = v1.begin();
auto it2 = v2.begin();

while (it1 != v1.end() && it2 != v2.end())
    {
    // Find the iterator that points to the smallest number.
    // Grab the value.
    // Advance the iterator, and repeat.

    if (*it1 < *it2)
        {
        if (merged.empty() || merged.back() < *it1)
            merged.push_back(*it1);
        ++it1;
        }
    else
        {
        if (merged.empty() || merged.back() < *it2)
            merged.push_back(*it2);
        ++it2;
        }
    }

while(it1 != v1.end())
    {
    merged.push_back(*it1);
    ++it1;
    }

while (it2 != v2.end())
    {
    merged.push_back(*it2);
    ++it2;
    }

// if you print out the values in 'merged', it gives the expected result
[2, 4, 6, 8, 10, 12, 14, 16]

...您可以使用以下内容进行概括。请注意,包含“当前”迭代器和结束迭代器的辅助结构会更干净,但想法保持不变。

vector<int> v1{ 4, 8, 12, 16 };
vector<int> v2{ 2, 6, 10, 14 };
vector<int> v3{ 3, 7, 11, 15 };
vector<int> v4{ 0, 21};

vector<int> merged;
// reserve space accordingly...

using vectorIt = vector<int>::const_iterator;

vector<vectorIt> fwdIterators;
fwdIterators.push_back(v1.begin());
fwdIterators.push_back(v2.begin());
fwdIterators.push_back(v3.begin());
fwdIterators.push_back(v4.begin());
vector<vectorIt> endIterators;
endIterators.push_back(v1.end());
endIterators.push_back(v2.end());
endIterators.push_back(v3.end());
endIterators.push_back(v4.end());

while (!fwdIterators.empty())
    {
    // Find out which iterator carries the smallest value
    size_t index = 0;
    for (size_t i = 1; i < fwdIterators.size(); ++i)
        {
        if (*fwdIterators[i] < *fwdIterators[index])
            index = i;
        }

    if (merged.empty() || merged.back() < *fwdIterators[index])
        merged.push_back(*fwdIterators[index]);

    ++fwdIterators[index];
    if (fwdIterators[index] == endIterators[index])
        {
        fwdIterators.erase(fwdIterators.begin() + index);
        endIterators.erase(endIterators.begin() + index);
        }
    }

// again, merged contains the expected result
[0, 2, 3, 4, 6, 7, 8, 10, 11, 12, 14, 15, 16, 21]

...正如一些人指出的那样,使用堆会更快

// Helper struct to make it more convenient
struct Entry
{
vector<int>::const_iterator fwdIt;
vector<int>::const_iterator endIt;

Entry(vector<int> const& v) : fwdIt(v.begin()), endIt(v.end()) {}
bool IsAlive() const { return fwdIt != endIt; }
bool operator< (Entry const& rhs) const { return *fwdIt > *rhs.fwdIt; }
};


int main()
{
vector<int> v1{ 4, 8, 12, 16 };
vector<int> v2{ 2, 6, 10, 14 };
vector<int> v3{ 3, 7, 11, 15 };
vector<int> v4{ 0, 21};

vector<int> merged;
merged.reserve(v1.size() + v2.size() + v3.size() + v4.size());

std::priority_queue<Entry> queue;
queue.push(Entry(v1));
queue.push(Entry(v2));
queue.push(Entry(v3));
queue.push(Entry(v4));

while (!queue.empty())
    {
    Entry tmp = queue.top();
    queue.pop();

    if (merged.empty() || merged.back() < *tmp.fwdIt)
        merged.push_back(*tmp.fwdIt);

    tmp.fwdIt++;

    if (tmp.IsAlive())
        queue.push(tmp);
    }

看起来确实需要大量复制 'Entry' 对象,也许对于 std::priority_queue 来说,指向具有适当比较函数的条目的指针会更好。 p>

【讨论】:

  • 您没有跳过重复项。
  • 这并不完全“容易”。除非您使用堆/优先级队列,否则在 n 个列表中找到最小的下一个合并是 O(n)。
  • @m69 已修复。 if 语句就这么多了。
  • 这只是合并排序的“外部”变体的一个特例。顺便说一句:en.wikipedia.org/wiki/Merge_sort#Use_with_tape_drives
  • 差异可能源于随着结果向量的增长而进行的额外分配。也许使用 reserve() 来避免这种情况?
【解决方案2】:

合并多个队列的常用方法是根据队列第一个元素的值将队列放入最小堆中。您反复从堆顶部的队列中拉出一个项目,然后将其向下推以恢复堆属性。

这在 O(N log K) 时间内合并了总共 N 个项目 K 个队列。

由于您正在合并vector&lt;int&gt;,因此您的队列可以是tuple&lt;int, vector *&gt;(当前位置和向量)或tuple&lt;vector::const_iterator, vector::const_iterator&gt;(当前位置和结束)

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2021-06-27
    • 1970-01-01
    • 2020-08-11
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-11-19
    相关资源
    最近更新 更多