使用 stl sort 就地排序表

Question

我有一个 (i,j,k) 格式（来自稀疏矩阵）的巨大表（大约 50Gb），存储为

uint32_t * idx1, * idx2;
float * vals;
uint32_t tablesize;

我想用给定的比较函数对它进行排序，该函数是 idx1 和 idx2 的函数。这可以使用 std::sort 来完成吗？

具体来说，稀疏矩阵中每个值为 v 的非零条目 (i,j) 通过将 i 放在 idx1 中，j 放在 idx2 中，并将 v 放在 vals 中的相应条目中来存储。然后我想根据 (i1, j1, v1) 对这些条目进行排序

(i1 < i2) || (i1==i2 && j1 <= j2)

我收集到的关于在非标准数据类型上使用 std::sort 的示例假设每个被比较的项目都是一个类的单个实例；这里每个项目由不同数组中的三个值表示。

Answer 1

不幸的是，说服std::sort 或任何标准库处理条带数据非常困难。它旨在假设数据可以通过单个= 复制、通过一个move 移动或通过一个swap 交换。

最好的办法是使用boost::iterator_facade 编写一个自定义迭代器类来包装数据，并隐藏std::sort 的条纹数据格式。我过去想做类似的事情，但我的工作区不允许我们使用boost。 编辑： 当您的外观被取消引用时，它可能需要创建某种可以分配/移动/交换的代理对象，并对每个条带数组执行正确的操作。这不是微不足道的。

下一个最佳选择是创建一个从零到 N 的 ints 数组，每个数组代表一个条带数据数组的索引。向std::sort 写入一个自定义函子，对这个数组进行排序以匹配您的条件。当您拥有如此庞大的数据集时，这显然远非理想。

Answer 2

如果您必须继续使用现有数据结构（本质上是三个std::vectors 中的std::tuple），那么使用boost::zip_iterator 将似乎 是要走的路。 zip_iterator 将三个迭代器（两个用于索引，一个用于值）视为单个元组，您可以使用自定义比较函数对象对数据进行就地排序。唉，boost::zip_iterator 不能和std::sort 一起使用，正如this Q&A 中解释的那样，因为它不能被写入。

这意味着您必须编写自己的可与std::sort 一起使用的 zip_iterator 类。请注意，这不是一个简单的练习，请参阅this Q&A 和/或此paper。

对std::vector 和std::tuple 进行排序要容易得多。我在下面的尝试使用两个索引和一个值的std::tuple，并将这些条目存储到std::vector。对于排序，我使用 C++14 通用 lambda 将两个索引转发到一个较小的元组中，并使用 std::tuple 的库 operator< 按字典顺序比较它们（即首先在行索引上，然后在列索引上） .

#include <algorithm>
#include <iostream>
#include <tuple>
#include <vector>

using index = uint32_t;
using value = float;
using sparse_entry = std::tuple<index, index, value>;
using sparse_matrix = std::vector<sparse_entry>;

int main()
{
    // sparse 3x3 matrix
    auto m = sparse_matrix { 
        std::make_tuple( 1, 1, -2.2), 
        std::make_tuple( 1, 0, 42  ), 
        std::make_tuple( 0, 2,  3.4), 
        std::make_tuple( 0, 1,  1.7) 
    };    

    // sort by row-index, then column-index
    std::sort(begin(m), end(m), [](auto const& L, auto const& R) {
        return 
            std::forward_as_tuple(std::get<0>(L), std::get<1>(L)) <
            std::forward_as_tuple(std::get<0>(R), std::get<1>(R))
        ;
    });

    for (auto const& elem : m)
        std::cout << "{ " << std::get<0>(elem) << ", " << std::get<1>(elem) << ", " << std::get<2>(elem) << "}, \n";
}

Live Example.

如果您的应用程序可以使用这种转换后的数据布局（并且可能因为缓存性能原因不能使用），那么上面的代码将按照您的意愿进行排序。

注意：正如@Casey 提到的，您也可以使用std::tie 而不是std::forward_as_tuple，但是当您将sparse_entry 更改为成熟的用户定义类时，这可能会咬到您getter 按值返回。