线程和矢量化优化

Question

我对代码优化技术真的很陌生，我目前正在尝试优化一段代码的循环部分，这应该很容易。

for (int i = 0; i < N; i++)
{
    array[i] = 0.0f;
    array2[i] = 0.0f;
    array3[i] = 0.0f;
}

我尝试如下实现矢量化和线程化：

int i;
int loop_unroll = (int) (N/4)*4;

#pragma omp parallel for shared(array,array2,array3)
for(int i = 0; i < loop_unroll; i+=4)
{
    __m128 array_vector = _mm_load_ps(array+i);
    array_vector = _mm_set1_ps(0.0f);

    _mm_store_ps(array+i, array_vector);
    _mm_store_ps(array2+i, array_vector);
    _mm_store_ps(array3+i, array_vector);
}

for(;i<N;i++)
{
    array[i] = 0.0f;
    array2[i] = 0.0f;
    array3[i] = 0.0f;
}

不管输入大小 N 我运行它，“优化”版本总是需要更长的时间。 我认为这是由于与设置线程和寄存器相关的开销，但是对于在程序变得太慢而无法使用之前的最大 N，更快的代码仍然不能减轻开销。

这让我怀疑所使用的优化技术是否实施不正确？

Answer 1

Compiling + benchmarking with optimization disabled is your main problem。具有内在函数的未优化代码通常非常慢。 在禁用优化的情况下比较内在函数与标量是没有用的，gcc -O0 通常对内在函数的伤害更大。

一旦您停止在未优化的代码上浪费时间，您将希望让 gcc -O3 将标量循环优化为 3 个 memset 操作，而不是将 3 个存储流交错在一个循环中。

编译器（和优化的 libc memset 实现）擅长优化内存归零，并且可能比简单的手动矢量化做得更好。不过，这可能还不算太糟糕，特别是如果您的阵列在 L1d 缓存中还不是很热的话。 （如果是，那么在具有宽数据路径的 CPU 上，仅使用 128 位存储比使用 256 位或 512 位向量要慢得多。）

---

我不确定使用 OpenMP 进行多线程的最佳方法是什么，同时仍让编译器优化到 memset。让omp parallel for 并行化存储来自每个线程的 3 个流的代码可能并不可怕，只要每个线程都在处理每个数组中的连续块。特别是如果稍后更新相同数组的代码将以相同的方式分布，因此每个线程都在处理之前归零的数组的一部分，并且可能在 L1d 或 L2 缓存中仍然很热。

当然，如果你能避免它，作为另一个有一些有用计算的循环的一部分，即时执行归零。如果您的下一步将是a[i] += something，那么在第一次通过数组时将其优化为a[i] = something，这样您就不需要先将其归零。

---

请参阅Enhanced REP MOVSB for memcpy 了解大量 x86 内存性能详细信息，尤其是“延迟绑定平台”部分，该部分解释了为什么大型 Xeon 上的单线程内存带宽（至 L3/DRAM）更差与四核桌面相比，即使当您有足够的线程使四通道内存饱和时，来自多个线程的聚合带宽可能要高得多。

为了存储性能（为以后的工作忽略缓存局部性），我认为最好让每个线程处理（一大块）1 个​​数组；单个顺序流可能是最大化单线程存储带宽的最佳方式。但是缓存是关联的，并且 3 个流足够少，以至于在你写完一整行之前它通常不会导致冲突丢失。不过，Desktop Skylake 的 L2 缓存只有 4 路关联。

存储多个流会产生 DRAM 页面切换效果，每个线程 1 个流可能优于每个线程 3 个流。因此，如果您确实希望每个线程将 3 个单独数组的块归零，理想情况下，您希望每个线程将其第一个数组的整个块，然后是第二个数组的整个块，而不是交错 3 个数组。