查找整数值计数的最快方法 (C++)

Question

我需要一个无符号整数列表中每个出现值的出现计数。 IE。如果通过序列 [ 3, 6, 9, 3, 9 ] 我想要 [ { 3, 2}, {6, 1}, {9, 2} ]。

这些值是随机的 32 位无符号整数（范围为 1 到 1,000,000,000）。结果可以存储在任何数据结构中（只要它们可以线性迭代），虽然值排序是理想的，但这是速度之后的次要问题。

目前我有 -

T UniqueCount(std::vector<unsigned> &A)
{
    std::unordered_map<unsigned,unsigned> value_counts;

    for(unsigned val : A) {
        value_counts[val]++;
    }

    A.clear();

    ...
}

分析显示 std::unordered_map 比 std::map 快。

有没有更好的方法呢？ /更快的方式？还有一点值得注意，因为用例（count > 4）可以记为4。

这是目前的一个瓶颈，因此虽然首选标准容器，但如果性能提升值得额外的维护成本，则可以考虑定制一些容器。

Answer 1

在我的系统（Win10 x64，MSVC daily package x64 发布版本）上，使用输入向量中的 100,000 个随机未排序值进行测试，以下使用 std::sort + std::adjacent_find 的执行时间约为 10 毫秒，而使用 @987654326 的时间约为 27 毫秒@ 和@krzaq 答案中的代码（现在在 OP 中）：

std::vector<std::pair<unsigned, unsigned>> unique_count(std::vector<unsigned>& a) {
    auto it = begin(a);
    auto const last = end(a);

    std::vector<std::pair<unsigned, unsigned>> value_counts;
    std::sort(it, last);
    while (it != last) {
        auto const prev = it;
        it = std::adjacent_find(it, last, std::not_equal_to<unsigned>{});
        if (it != last) {
            ++it;
        }
        value_counts.emplace_back(*prev, static_cast<unsigned>(it - prev));
    }
    return value_counts;
}

Online Demo

经验教训：缓存一致性通常胜过算法复杂性。

Answer 2

如果你的值的范围是合理的（即你没有用完我即将建议的内存），你可以使用一个数组或vector，例如对于范围 [0, max_value] （未经测试，但你明白了）：

// init
vector<int> counts(max_value + 1, 0);

// increment:
counts[value] ++;

或者您可以根据需要动态调整大小：

// init
vector<int> counts;

// increment:
if (value >= counts.size())
    counts.resize(value + 1, 0);
counts[value] ++;

如果范围合理但为负数，您可以添加偏移量以使所有值都为非负数，或者为负数维护一个单独的向量并使用它们的绝对值。

否则，哈希映射几乎是要走的路，所以你几乎已经达到了你的极限——你可以继续尝试unordered_map，但提供一个不同的hash function，它可以提供更均匀的哈希分布典型数据的值。

其他想法：

• 并行化计数 - 在多个线程上计算向量的块，然后 a) 在最后将它们组合或 b) 使用原子增量计数器测试性能（例如 Windows 上的InterlockedIncrement，尽管......你' d 仍然需要新值的线程安全插入，所以可能坚持使用 A)。无法告诉您 a 或 b 是否会更快，您必须进行测试。使用线程池或其他一些预先创建的线程，因为您可能不希望每次都启动和停止线程的全部开销。

• 如果您获得相同值的长时间运行，或多次短运行，您也许可以将映射迭代器缓存到前一个值。然后，如果您要查看的值与该迭代器相同，则重用该迭代器并为自己保存哈希查找。虽然我看不出这有什么不同，但我不知道，您必须使用您的特定数据集进行尝试。

我真的想不出别的了。