具有多种功能的 C++ SSE 优化

Question

我有一些结构类似于下面的代码。有一堆小的 SSE 辅助函数，一个完成大部分工作的较大的函数，以及组织数据的公共函数，循环运行大型函数并处理任何剩余的数据。

这使标量实现的速度提高了大约 2 倍，但是如果可能的话，我希望获得更多。除了一些概念上的问题，反汇编中还有一些东西（只详细看了x86 VC++ 2010，但支持x86和GCC）我不喜欢。

对于至少某些目标，我在这里只能使用 SSE 和 SSE2，但如果值得单独构建，我也可以使用更新的指令集。

---

问题一：

所有小助手都很好地内联到大助手中，而大助手没有。

然而，即使它只被一个源文件中的一个函数引用并且有很多寄存器（看看算法，很确定它最多只需要 12 个 XMM 寄存器，除了加载数据数组），编译器似乎想要遵循 fooHelper 的正常调用约定。

所以在将数据放入 foo 中的 XMM 寄存器之后，它会将它们放回堆栈，并传递指针，然后在循环和整理东西之后，它将堆栈加载回 XMM，这样我就可以再次卸载它...

我想我可以强制它内联 fooHelper，但这是大量重复的指令，因为它不会使用 4 个 XMM 寄存器来完成这项工作。我也不能在 foo 本身中使用 SSE，这将消除加载/存储问题，但 fooHelper 仍在对这 4 个状态变量进行完全不需要的加载和存储...

理想情况下，由于这是一个私有函数，因此忽略正常调用约定的方法会很好，我相信这会出现在许多其他更大的 SSE 部分中，我并不真正希望所有内容都完全内联。

---

问题 2：

该实现基本上是在组织为 AAAA、BBBB、CCCC、DDDD 的 4 个状态向量上工作，因此可以简单地编写代码，就好像它使用 A、B、C 和 D 作为单独的变量一样，同时处理所有一次 4 个数据流。

但是输出本身是 ABCD、ABCD、ABCD、ABCD 的形式，输入也是 4 个单独的缓冲区，需要 _m_set_epi32 来加载它。

是否有更好的方法来处理这些输入和输出（其格式实际上无法更改）？

---

namespace
{
    void fooHelperA(__m128i &a, __m128i b, __m128i x, int s)
    {
        ...small function (<5 sse operations)...
    }
    ...bunch of other small functions...

    //
    void fooHelper(        
         const int *data1, const int *data2, const int *data3, const int *data4,
         __m128i &a, __m128i &b, __m128i &c, __m128i &d)
    {
        //Get the current piece of data
        __m128 c = _mm_set_epi32(data1[0], data2[0], data3[0], data4[0]);
        ...do stuff with data...
        fooHelperA(a, b, c, 5);
        ...
        c = _mm_set_epi32(data1[1], data2[1], data3[1], data4[1]);
        ...
        fooHelperA(b, a, c, 7);
        ... lots more code ...
        c = _mm_set_epi32(data1[3], data2[3], data3[3], data4[3]);
        ...
    }
}
void foo(
    const char*data1, const char *data2, const float *data3, const char *data4,
    int*out1, int*out2, int*out3, int*out4,
    size_t len)
{
    __m128i a = _mm_setzero_si128();
    __m128i b = _mm_setzero_si128();
    __m128i c = _mm_setzero_si128();
    __m128i d = _mm_setzero_si128();
    while (len >= 16) //expected to loop <25 times for datasets in question
    {
        fooHelper((const int*)data1, (const int*)data2, (const int*)data3, (const int*)data4, a,b,c,d);
        data1 += 16;
        data2 += 16;
        data3 += 16;
        data4 += 16;
        len -= 16;
    }
    if (len)
    {
        int[4][4] buffer;
        ...padd data into buffer...
        fooHelper(buffer[0], buffer[1], buffer[2], buffer[3], a,b,c,d);
    }
    ALIGNED(16, int[4][4]) tmp;
    _mm_store_si128((__m128i*)tmp[0], a);
    _mm_store_si128((__m128i*)tmp[1], b);
    _mm_store_si128((__m128i*)tmp[2], c);
    _mm_store_si128((__m128i*)tmp[3], d);

    out1[0] = tmp[0][0];
    out2[0] = tmp[0][1];
    out3[0] = tmp[0][2];
    out4[0] = tmp[0][3];

    out1[1] = tmp[0][0];
    out2[1] = tmp[0][1];
    out3[1] = tmp[0][2];
    out4[1] = tmp[0][3];

    out1[2] = tmp[0][0];
    out2[2] = tmp[0][1];
    out3[2] = tmp[0][2];
    out4[2] = tmp[0][3];

    out1[3] = tmp[0][0];
    out2[3] = tmp[0][1];
    out3[3] = tmp[0][2];
    out4[3] = tmp[0][3];
}

Answer 1

一些建议，

1) 查看您的代码和数据描述，您似乎可以通过将您的数据组织从 SOA（数组结构）您的 AAAA 向量移动到 AOS 结构数组，您的输入数据已经被组织为ABCD ，您将有 1 个大输入向量（大 4 倍）！

2) 注意数据对齐。现在你不在乎你是否应该因为 set_epi32 函数而具有 pinalllity 但如果你切换到 AOS 你应该能够使用快速加载（内存到 XMS）。

3）函数的结尾有点奇怪，（我暂时无法模拟）我真的不明白你为什么需要一个tmp 2d数组。

4) 可以使用 SOA/AOS 转换的一些示例来完成交错（和逆运算）......英特尔在推广 SIMD 指令集时写了很多关于这个主题的论文。

祝你好运， 亚历克斯