在 python 中查找特征值/向量的最快方法是什么？答案

【问题标题】：whats the fastest way to find eigenvalues/vectors in python?在 python 中查找特征值/向量的最快方法是什么？
【发布时间】：2011-10-04 18:47:02
【问题描述】：

目前我正在使用 numpy 来完成这项工作。但是，由于我正在处理具有数千行/列的矩阵，后来这个数字将上升到数万，我想知道是否存在可以更快地执行这种计算的包？

【问题讨论】：

numpy 不能很好地扩展吗？我认为它是为这样的事情而设计的。这不是矢量化操作的重点吗？
数万不是很多，numpy会很快粉碎它。

标签： python matrix numpy linear-algebra eigenvalue

【解决方案1】：

**如果您的矩阵是稀疏的，则使用 scipy.sparse 中的构造函数实例化您的矩阵，然后使用 spicy.sparse.linalg 中的类似特征向量/特征值方法.从性能的角度来看，这有两个优点：
- 您的矩阵由辣味.sparse 构造函数构建而成，与它的稀疏程度成正比。
- 用于稀疏矩阵（eigs、eigsh）的eigenvalue/eigenvector methods 接受可选参数k，它是您想要返回的特征向量/特征值对。几乎总是解释 >99% 的方差所需的数量远远少于列数，您可以事后验证；换句话说，您可以告诉方法不要计算并返回所有特征向量/特征值对——除了考虑方差所需的（通常）小子集之外，您不太可能需要其余部分。
改用 SciPy 中的线性代数库， scipy.linalg NumPy 的同名库。这两个库有相同的名称并使用相同的方法名称。不过性能还是有区别的。这种差异是由于 numpy.linalg 是一个 less 对类似 LAPACK 例程的忠实包装为了便携性和便利性而牺牲一些性能（即，遵守整个 NumPy 库的 NumPy 设计目标应该在没有 Fortran 编译器的情况下构建）。 linalg 在 SciPy 上另一方面是 LAPACK 上更完整的包装器，其中使用 f2py。
选择适合您用例的函数；换句话说，不要使用功能超出您的需要。在 scipy.linalg 有几个函数可以计算特征值；这差异不大，但通过仔细选择功能要计算特征值，您应该会看到性能提升。为了实例：
- scipy.linalg.eig 返回 both 特征值和特征向量
- scipy.linalg.eigvals，只返回特征值。所以如果你只需要矩阵的特征值，那么不要使用linalg.eig，而是使用linalg.eigvals。
- 如果你有一个实值平方对称矩阵（等于它的转置）然后使用 scipy.linalg.eigsh
优化您的 Scipy 构建 准备您的 SciPy 构建环境主要在 SciPy 的 setup.py 脚本中完成。也许在性能方面最重要的选项是确定任何优化的 LAPACK 库，例如 ATLAS 或 Accelerate/vecLib 框架（OS X 只有？）以便 SciPy 可以检测到它们并针对它们进行构建。根据您目前拥有的装备，优化您的 SciPy 构建然后重新安装可以为您提供可观的性能增加。 SciPy 核心团队的其他说明是here。

这些函数是否适用于大型矩阵？

我应该是这样想的。这些是工业强度的矩阵分解方法，它们只是类似 Fortran LAPACK 例程的薄包装。

我已经使用 linalg 库中的大多数方法来分解矩阵，其中列数通常在 5 到 50 之间，并且行数通常超过 500,000。 SVD 和 eigenvalue 方法在处理这种大小的矩阵时似乎都没有任何问题。

使用 SciPy 库 linalg，您可以使用此库中的多种方法中的任何一种，通过一次调用来计算特征向量和特征值，eig 、eigvalsh 和 eigh。

>>> import numpy as NP
>>> from scipy import linalg as LA

>>> A = NP.random.randint(0, 10, 25).reshape(5, 5)
>>> A
    array([[9, 5, 4, 3, 7],
           [3, 3, 2, 9, 7],
           [6, 5, 3, 4, 0],
           [7, 3, 5, 5, 5],
           [2, 5, 4, 7, 8]])

>>> e_vals, e_vecs = LA.eig(A)

【讨论】：

在我的机器上，numpy 的 eigvals 实际上比 scipy 的快。
我在 40,000 x 40,000 对称稀疏矩阵上使用 scipy.sparse.linalg.eign.eigsh。我花了将近 30 分钟才找到 125 个最小的特征向量。所以我也想知道Python中最有效的特征向量求解器是什么。
最近在 Anaconda 中默认出现的 MKL 在 linalg 优化方面的速度是否一样快？ docs.anaconda.com/mkl-optimizations

【解决方案2】：

如果你的矩阵是稀疏的，你可以尝试使用scipy的稀疏特征值函数，应该会更快：

http://docs.scipy.org/doc/scipy/reference/sparse.linalg.html

您还可以查看专门的软件包，例如 SLEPc，它具有 python 绑定并且可以使用 mpi 并行进行计算：

http://code.google.com/p/slepc4py/

【讨论】：