优化 x86 的逻辑与运算

Question

我正在尝试优化屏蔽数组的算法。初始代码如下所示：

void mask(unsigned int size_x, unsigned int size_y, uint32_t *source, uint32_t *m)
{
    unsigned int rep=size_x*size_y;
    while (rep--)
    {            
        *(source++) &= *(m++);
    }
}

我尝试过循环展开+预取

void mask_LU4(unsigned int size_x, unsigned int size_y, uint32_t *source, uint32_t   *mask)
{                             // in place
    unsigned int rep;
    rep= size_x* size_y;
    rep/= 4 ; 
    while (rep--) 
    {              
        _mm_prefetch(&source[16], _MM_HINT_T0);
        _mm_prefetch(&mask[16], _MM_HINT_T0);
        source[0] &= mask[0];
        source[1] &= mask[1];
        source[2] &= mask[2];
        source[3] &= mask[3];
        source += 4;
        mask += 4;
    }
}

并使用内在函数

void fmask_SIMD(unsigned int size_x, unsigned int size_y, uint32_t *source, uint32_t *mask)
{                             // in place
    unsigned int rep;
    __m128i *s,*m ;
    s = (__m128i *) source;
    m = (__m128i *) mask;
    rep= size_x* size_y;
    rep/= 4 ; 
    while (rep--) 
    {               
        *s = _mm_and_si128(*s,*m);
        source+=4;mask+=4; 
        s = (__m128i *) source;
        m = (__m128i *) mask;
    }   
}  

但是性能是一样的。我尝试对 SIMD 和 Loop Unrolling 版本执行 sw 预取，但我看不到任何改进。关于如何优化此算法的任何想法？

P.S.1：我使用的是 gcc 4.8.1，并使用 -march=native 和 -Ofast 进行编译。

P.S.2：我使用的是 Intel Core i5 3470 @3.2Ghz，Ivy 桥架构。 L1 DCache 4X32KB（8 路），L2 4x256，L3 6MB，RAM-DDR3 4Gb（双通道，DRAM @798,1Mhz）

Answer 1

您的操作受内存带宽限制。但是，这并不一定意味着您的操作正在达到最大内存带宽。要接近最大内存带宽，您需要使用多个线程。使用 OpenMP（将 -fopenmp 添加到 GCC 的选项中）您可以这样做：

#pragma omp parallel for
for(int i=0; i<rep; i++) { source[i] &= m[i]; }

如果您不想修改源而是使用不同的目标，那么您可以使用这样的流指令：

#pragma omp parallel for
for(int i=0; i<rep/4; i++) {
    __m128i m4 = _mm_load_si128((__m128i*)&m[4*i]);
    __m128i s4 = _mm_load_si128((__m128i*)&source[4*i]);
    s4 = _mm_and_si128(s4,m4);
    _mm_stream_si128((__m128i*i)&dest[4*i], s4);
}

这不会比使用相同的目标和源更快。但是，如果您已经计划使用不等于源的目标，这可能会比使用_mm_store_si128 更快（对于rep 的某些值）。

Answer 2

您的问题可能是内存受限，但这并不意味着您每个周期不能处理更多。通常当你有一个低负载操作时（就像你在这里，它毕竟只是一个 AND ），结合许多加载和存储是有意义的。在大多数 CPU 中，大多数负载将由 L2 缓存组合成单个缓存线负载（特别是如果它们是连续的）。我建议在这里增加循环展开到至少 4 个 SIMD 数据包，以及预取。您仍然会受到内存限制，但您会获得更少的缓存未命中，从而获得更好的性能。