对于固定大小的小矩阵，Eigen 的速度有多快？

Question

我目前正在使用 Julia，但我有一个性能关键函数，它需要对固定大小的小矩阵（3 维或 4 维）进行大量重复的矩阵运算。似乎 Julia 中的所有矩阵运算都由 BLAS 和 LAPACK 后端处理。在其中一些函数中似乎还进行了大量的内存分配。

small matrices 有一个 julia 库，它拥有令人印象深刻的 3x3 矩阵加速，但它已经 3 年没有更新了。我正在考虑在Eigen 中重写我的性能关键函数

我知道 Eigen 声称对于固定大小的矩阵非常有用，但我仍在尝试判断是否应该在 Eigen 中重写此函数。性能benchmarks 适用于动态大小的矩阵。有没有人有任何数据表明一个人从固定大小的矩阵中获得了多少性能？我正在做的操作类型是矩阵x矩阵，矩阵x向量，正定线性求解。

Answer 1

如果您想对小矩阵进行快速运算，我强烈推荐StaticArrays。例如（注意：这最初是在 BenchmarkTools 包之前编写的，现在推荐使用）：

using StaticArrays
using LinearAlgebra

function foo(A, b, n)
    s = 0.0
    for i = 1:n
        s += sum(A*b)
    end
    s
end

function foo2(A, b, n)
    c = A*b
    s = 0.0
    for i = 1:n
        mul!(c, A, b)
        s += sum(c)
    end
    s
end

A = rand(3,3)
b = rand(3)
Af = SMatrix{3,3}(A)
bf = SVector{3}(b)

foo(A, b, 1)
foo2(A, b, 1)
foo(Af, bf, 1)

@time foo(A, b, 10^6)
@time foo2(A, b, 10^6)
@time foo(Af, bf, 10^6)

结果：

julia> include("/tmp/foo.jl")
  0.080535 seconds (1.00 M allocations: 106.812 MiB, 14.86% gc time)
  0.064963 seconds (3 allocations: 144 bytes)
  0.001719 seconds (2 allocations: 32 bytes)

foo2 试图聪明并避免内存分配，但在使用 StaticArrays 时，它被天真的实现所震撼。