高效的 SSE NxN 矩阵乘法

Question

我正在尝试通过矩阵乘法来实现大矩阵的SSE 版本。 我正在寻找一种基于SIMD 实现的高效算法。

我想要的方法如下：

A(n x m) * B(m x k) = C(n x k)

并且所有的矩阵都被认为是16字节对齐的浮点数组。

我在网上搜索了一些描述8x8乘法甚至更小的文章。我真的需要它尽可能高效，我不想使用Eigen 库或类似的库。 （只有SSE3 更具体）。

如果有人能帮我找到一些关于如何开始实施的文章或资源，我将不胜感激。

Answer 1

实现任意大小的矩阵-矩阵乘法的主要挑战不是 SIMD 的使用，而是缓存数据的重用。如果你想实现缓存友好的矩阵-矩阵乘法，这篇论文Anatomy of High-Performance Matrix Multiplication by Goto and Van de Geijn 是必读的，它还讨论了对 SIMD 友好的内核的选择。阅读本文后，预计经过两周的努力，矩阵-矩阵乘法可以达到 50% 的机器峰值。

但是，如果这项工作的目的不是纯粹的学习，我强烈建议使用高度优化的库。在 x86 上，您最好的选择是 OpenBLAS（BSD 许可，支持动态 CPU 调度）、BLIS（BSD 许可，易于移植到新处理器）和Intel MKL（商业，支持 Intel 处理器上的动态 CPU 调度） .出于性能原因，最好避免使用 ATLAS，除非您针对的是其他库不支持的非常奇特的架构。