更快的 AVX/2 矩阵向量乘法？

Question

我正在研究神经网络的矩阵向量乘法+累加函数，我最终决定手动对整个事物进行向量化，而不是依赖自动向量化。

我想出了这个功能：

#include <immintrin.h>
#define re *restrict //just simplification
// computes a2[n2]=w[n2][n1]*a1[n1]+b[n2]
void l_frw(const int n2,const int n1,float re a2,const float re a1,const float w[restrict][n1],const float re b)
{
    __m256 x,y,z;
    __m256 one=_mm256_set1_ps(1.0f);
    for(int i=0; i<n2; i++)
    {
        a2[i]=b[i];
        z=_mm256_setzero_ps();
        for(int j=0; j<n1; j+=8)
        {
            x=_mm256_loadu_ps(&a1[j]);
            y=_mm256_loadu_ps(&w[i][j]);
            z=_mm256_fmadd_ps(x,y,z); //accumulates dot product of each row into z
        }
        z=_mm256_dp_ps(z,one,0b11111111);
        a2[i]+=z[0]+z[4];
    }
}

（是的，它只适用于 8 个大小的向量的倍数）。

它比简单的自动矢量化版本快约 20%，这非常简洁，但我仍在寻找改进。 有关如何加快速度的任何建议？

Answer 1

我最近发现 _mm256_set1_ps/pd/si... 是一个非常低效的内在/指令（根据变量类型，并不总是评估为 1 条指令）

见：https://www.intel.com/content/www/us/en/docs/intrinsics-guide/index.html#text=_mm256_set1_ps&ig_expand=6147

所以你可以使用：

 const __m256 _one = {1.0f, 1.0f, 1.0f, 1.0f}; //(I think you need C11 or newer)

或者如果是 c++:

 constexpr inline __m256 _one = {1.0f, 1.0f, 1.0f, 1.0f};

这将适用于 __m256 和 __m256d，但是我相信当与 __m256i 一起使用时这是未定义的行为，因为整数向量类型可以根据 int 的宽度具有可变大小。

ie: __m256i of chars 可以容纳 32 个字符，但只能容纳 4 个 unsigned long longs。

这还有一个好处是实际上不调用任何 AVX 指令，它只是将 4 个浮点数的数组初始化为 1.0f，以供以后引用和使用，因此这种初始化方式并不明确要求 AVX 的硬件支持。因此，您可以将一些常量向量存储在跨平台的 .dll 文件中，而无需担心在实际调用 AVX 指令之前检查 AVX 支持。