向量化模运算

Question

我正在尝试编写一些相当快的分量向量加法代码。我正在使用（签名，我相信）64 位整数。

功能是

void addRq (int64_t* a, const int64_t* b, const int32_t dim, const int64_t q) {
    for(int i = 0; i < dim; i++) {
        a[i] = (a[i]+b[i])%q; // LINE1
    }
}

我在 IvyBridge（SSE4.2 和 AVX，但不是 AVX2）上使用 icc -std=gnu99 -O3（icc，以便我以后可以使用 SVML）进行编译。

我的基线是从 LINE1 中删除 %q。 dim=11221184 的 100 个（迭代）函数调用需要 1.6 秒。 ICC 自动矢量化 SSE 的代码；很棒。

不过，我真的很想做模块化添加。使用%q，ICC 不会自动矢量化代码，它会在 11.8 秒内运行（！）。即使忽略上一次尝试的自动矢量化，这似乎仍然过分。

由于我没有 AVX2，使用 SSE 进行矢量化需要 SVML，这可能是 ICC 不自动矢量化的原因。无论如何，这是我对内循环进行矢量化的尝试：

__m128i qs = _mm_set1_epi64x(q);
for(int i = 0; i < dim; i+=2) {
    __m128i xs = _mm_load_si128((const __m128i*)(a+i));
    __m128i ys = _mm_load_si128((const __m128i*)(b+i));
    __m128i zs = _mm_add_epi64(xs,ys);
    zs = _mm_rem_epi64(zs,qs);
    _mm_store_si128((__m128i*)(a+i),zs);
}

主循环的组装是：

..B3.4:                         # Preds ..B3.2 ..B3.12
    movdqa    (%r12,%r15,8), %xmm0                          #59.22
    movdqa    %xmm8, %xmm1                                  #60.14
    paddq     (%r14,%r15,8), %xmm0                          #59.22
    call      __svml_i64rem2                                #61.9
    movdqa    %xmm0, (%r12,%r15,8)                          #61.36
    addq      $2, %r15                                      #56.30
    cmpq      %r13, %r15                                    #56.24
    jl        ..B3.4        # Prob 82%                      #56.24

所以代码按预期进行了矢量化。我知道由于 SVML，我可能无法获得 2 倍的加速，但代码运行时间为 12.5 秒，比完全没有矢量化的情况要慢！这真的是这里能做到的最好的吗？

Answer 1

SSE2 和 AVX2 都没有整数除法指令。英特尔将 SVML 函数称为内部函数是不诚实的，因为它们中的许多都是复杂的函数，它们映射到多条指令，而不仅仅是几条指令。

有一种方法可以使用 SSE2 或 AVX2 进行更快的除法（和取模）。请参阅本文Improved division by invariant integers。基本上你预先计算一个除数，然后做乘法。预先计算除数需要时间，但对于代码中的 dim 的某些值，它应该会胜出。我在这里更详细地描述了这个方法SSE integer division? 我也在素数查找器Finding lists of prime numbers with SIMD - SSE/AVX中成功实现了这个方法@

Agner Fog 使用该论文中描述的方法在他的Vector Class 中实现了 32 位（但不是 64 位）除法。如果您需要一些代码，那将是一个很好的起点，但您必须将其扩展为 64 位。

编辑：基于 Mysticial 的 cmets 并假设输入已经减少，我为 SSE 制作了一个版本。如果这是在 MSVC 中编译的，那么它需要在 64 位模式下作为 32 位模式不支持_mm_set1_epi64x。这可以在 32 位模式模式下修复，但我不想这样做。

#ifdef _MSC_VER 
#include <intrin.h>
#endif
#include <nmmintrin.h>                 // SSE4.2
#include <stdint.h>
#include <stdio.h>

void addRq_SSE(int64_t* a, const int64_t* b, const int32_t dim, const int64_t q) {
    __m128i q2 = _mm_set1_epi64x(q);
    __m128i t2 = _mm_sub_epi64(q2,_mm_set1_epi64x(1));
    for(int i = 0; i < dim; i+=2) {
        __m128i a2 = _mm_loadu_si128((__m128i*)&a[i]);
        __m128i b2 = _mm_loadu_si128((__m128i*)&b[i]);
        __m128i c2 = _mm_add_epi64(a2,b2);
        __m128i cmp = _mm_cmpgt_epi64(c2, t2);
        c2 = _mm_sub_epi64(c2, _mm_and_si128(q2,cmp));
        _mm_storeu_si128((__m128i*)&a[i], c2);
    }
}

int main() {
    const int64_t dim = 20;
    int64_t a[dim];
    int64_t b[dim];
    int64_t q = 10;

    for(int i=0; i<dim; i++) {
        a[i] = i%q; b[i] = i%q;
    }
    addRq_SSE(a, b, dim, q);
    for(int i=0; i<dim; i++) {
        printf("%d\n", a[i]);
    }   
}