矩阵乘积的 Cholesky 的特征和 C++11 类型推断失败

Question

我正在尝试使用 Eigen 和 C++11“自动”类型对矩阵乘积及其转置进行 Cholesky 分解。当我尝试做时问题就来了

auto c = a * b
auto cTc = c.tranpose() * c;
auto chol = cTc.llt();

我正在使用 XCode 6.1，Eigen 3.2.2。我得到的类型错误是here。

这个最小的例子显示了我机器上的问题。将 c 的类型从 auto 更改为 MatrixXd 以查看它的工作原理。

#include <iostream>
#include <Eigen/Eigen>
using namespace std;
using namespace Eigen;


int main(int argc, const char * argv[]) {
    MatrixXd a = MatrixXd::Random(100, 3);
    MatrixXd b = MatrixXd::Random(3, 100);
    auto c = a * b;
    auto cTc = c.transpose() * c;
    auto chol = cTc.llt();
    return 0;
}

有没有办法在使用 auto 的同时完成这项工作？

作为一个附带问题，是否有性能理由不断言矩阵在每个阶段都是MatrixXd？使用 auto 将允许 Eigen 将答案保留为它喜欢的任何奇怪的模板表达式。我不确定将其输入为 MatrixXd 是否会导致问题。

Answer 1

问题是第一次乘法返回 Eigen::GeneralProduct 而不是 MatrixXd 并且 auto 正在选择返回类型。您可以从Eigen::GeneralProduct 隐式创建MatrixXd，因此当您显式声明类型时它可以正常工作。见http://eigen.tuxfamily.org/dox/classEigen_1_1GeneralProduct.html

编辑：我不是 Eigen 产品或铸造性能特征方面的专家。我只是从错误消息中推测出答案，并从在线文档中确认。分析始终是检查代码不同部分性能的最佳选择。

Answer 2

让我总结一下发生了什么以及为什么会出错。首先，让我们用它们所采用的类型来实例化auto 关键字：

typedef GeneralProduct<MatrixXd,MatrixXd> Prod;
Prod c = a * b;
GeneralProduct<Transpose<Prod>,Prod> cTc = c.transpose() * c;

请注意，Eigen 是一个表达式模板库。这里，GeneralProduct<> 是代表产品的抽象类型。不执行任何计算。因此，如果将cTc 复制到MatrixXdas：

MatrixXd d = cTc;

相当于：

MatrixXd d = c.transpose() * c;

那么产品a*b会进行两次！因此，在任何情况下，最好在显式临时内评估 a*b，对于 c^T*c 也是如此：

MatrixXd c = a * b;
MatrixXd cTc = c.transpose() * c;

最后一行：

auto chol = cTc.llt();

也是相当错误的。如果 cTc 是一个抽象产品类型，那么它会尝试实例化一个 Cholesky 分解在一个抽象产品类型上工作，这是不可能的。现在，如果cTc 是MatrixXd，那么您的代码应该可以工作，但这仍然不是首选方式，因为llt() 方法是实现单行表达式，例如：

VectorXd b = ...;
VectorXd x = cTc.llt().solve(b);

如果你想要一个命名的 Cholesky 对象，不如使用它的构造函数：

LLT<MatrixXd> chol(cTc);

甚至：

LLT chol(c.transpose() * c);

这是等效的，除非您必须在其他计算中使用c.transpose() * c。

最后，根据a 和b 的大小，最好将cTc 计算为：

MatrixXd cTc = b.transpose() * (a.transpose() * a) * b;

在未来（即 Eigen 3.3），Eigen 将能够看到：

auto c = a * b;
MatrixXd cTc = c.transpose() * c;

作为四个矩阵的乘积m0.transpose() * m1.transpose() * m2 * m3 并将括号放在正确的位置。但是，它无法知道m0==m3 和m1==m2，因此如果首选方法是暂时评估a*b，那么您仍然需要自己进行。

Answer 3

我不是Eigen 的专家，但是像这样的库通常会从操作中返回代理对象，然后使用隐式转换或构造函数来强制执行实际工作。 （表达式模板是一个极端的例子。）这避免了在许多情况下不必要地复制完整的数据矩阵。不幸的是，auto 很高兴只创建一个代理类型的对象，通常库的用户永远不会明确声明。由于您最终需要计算数字，因此从转换为MatrixXd 本身不会对性能造成影响。 （Scott Meyers 在“Effective Modern C++”中给出了使用auto 和vector<bool> 的相关示例，其中operator[](size_t i) 返回一个代理。）

Answer 4

不要在 Eigen 表达式中使用 auto。我之前遇到过更“戏剧性”的问题，请参阅

eigen auto type deduction in general product

一位 Eigen 创建者 (Gael) 建议不要将 auto 与 Eigen 表达式一起使用。

从表达式到特定类型（如MatrixXd）的转换应该非常快，除非您想要延迟评估（因为在进行转换时会评估结果）。