为什么 Eigen mean() 方法比 sum() 快得多？

Question

这是一个相当理论的问题，但我对此很感兴趣，如果有人对此有一些他或她愿意分享的专业知识，我会很高兴。

我有一个包含 2000 行和 600 列的浮点矩阵，我想从每一行中减去列的平均值。我测试了以下两行并比较了它们的运行时间：

MatrixXf centered = data.rowwise() - (data.colwise().sum() / data.cols());
MatrixXf centered = data.rowwise() - data.colwise().mean();

我想，mean() 不会做与将每列的总和除以行数不同的事情，但是在我的计算机上执行第一行需要 12.3 秒，而第二行在 0.09 秒内完成。

我正在使用Eigen version 3.2.6，目前是最新版本，我的矩阵以行优先顺序存储。

有人知道Eigen 的内部结构，这可以解释这种巨大的性能差异吗？

---

编辑：我应该在上面的代码中添加 data 实际上是 Eigen::Map< Eigen::MatrixXf<Eigen::Dynamic, Eigen::Dynamic, Eigen::RowMajor> > 类型并将 Eigen 的功能映射到原始缓冲区。

---

编辑 2： 正如 GuyGreer 所建议的，我将提供一些示例代码来重现我的发现：

#include <iostream>
#include <chrono>
#include <Eigen/Core>
using namespace std;
using namespace std::chrono;
using namespace Eigen;

int main(int argc, char * argv[])
{
    MatrixXf data(10000, 1000), centered;
    data.setRandom();
    auto start = high_resolution_clock::now();
    if (argc > 1)
        centered = data.rowwise() - data.colwise().mean();
    else
        centered = data.rowwise() - (data.colwise().sum() / data.rows());
    auto stop = high_resolution_clock::now();
    cout << duration_cast<milliseconds>(stop - start).count() << " ms" << endl;
    return 0;
}

编译：

g++ -O3 -std=c++11 -o test test.cc

在我的机器上运行不带参数的结果程序，即使用sum()，需要126 秒，而使用mean() 运行test 1 只需要0.03 秒！

---

编辑 3： 事实证明（参见 cmets），花费这么长时间的不是 sum()，而是结果向量除以行数。所以新的问题是：为什么 Eigen 需要 2 多分钟才能将 1000 列的向量除以单个标量？

Answer 1

不知何故，每次都重新计算部分归约（总和）和除法，因为operator/ 错误地丢失了有关部分归约评估成本的一些关键信息...显式评估均值可以解决问题：

centered = data.rowwise() - (data.colwise().sum() / data.cols()).eval();

当然，这个评估应该由 Eigen 为您完成，由变更集 42ab43a 修复。此修复将成为下一个 3.2.7 和 3.3 版本的一部分。