使用 SSE4.2 或更早版本优化 find_first_not_of答案

【问题标题】：Optimizing find_first_not_of with SSE4.2 or earlier使用 SSE4.2 或更早版本优化 find_first_not_of
【发布时间】：2021-06-06 13:24:04
【问题描述】：

我正在为协议编写文本数据包分析器，在优化它时我发现find_first_not_of 调用是一个很大的瓶颈。

本质上，如果一个数据包只包含有效字符，我需要查找它是否有效，比默认的 C++ 函数更快。

例如，如果所有允许的字符都是f、h、o、t 和 w，在 C++ 中我只会调用 s.find_first_not_of("fhotw")，但在 SSEx 中我不知道后面将字符串加载到一组__m128i 变量中。

显然，_mm_cmpXstrY 函数文档在这方面并没有真正帮助我。（例如_mm_cmpistri）。一开始我可以用_mm_sub_epi8 减去，但我认为这不是一个好主意。

此外，我坚持使用 SSE（任何版本）。

【问题讨论】：

所以你可以使用SSE4.2 pcmpistri？这是它实际上有好处的一件事，并且可能比多次 pcmpeqb / por 检查更快。没错，英特尔的文档非常不透明。 strchr.com/strcmp_and_strlen_using_sse_4.2 是对功能的更好介绍/概述，例如“等于任何”模式。
是的，我可以使用 SSE4.2，所以pcmpistri 在桌面上。
参见 Wojciech Muła 的（旧）文章 check which bytes are in a set。
@aqrit 完美解决。如果你把它变成一个答案，我会关闭它。

标签： string optimization sse intrinsics sse4

【解决方案1】：

This article by Wojciech Muła 描述了一种 SSSE3 算法来接受/拒绝任何给定的字节值。（与文章相反，应该使用饱和算法进行范围检查，但我们没有范围。）

SSE4.2 字符串函数通常比手工编写的函数慢。例如，在 Skylake 上，pcmpistri 的 3 uop、3 周期吞吐量是 SSE4.2 字符串指令中最快的。与每 16 个字节的输入 1 个 shuffle 和 1 个 pcmpeqb 相比，使用 SIMD AND 和 movemask 组合结果。加上一些加载和寄存器复制指令，但仍然很可能比每 3 个周期 1 个向量快。不过，处理短的以 0 结尾的字符串并不那么容易；如果您还需要担心这一点，SSE4.2 值得考虑，而不是已知大小的块，这些块是矢量宽度的倍数。

对于“fhotw”，请尝试：

#include <tmmintrin.h> // pshufb

bool is_valid_64bytes (uint8_t* src) {
    const __m128i tab = _mm_set_epi8('o','_','_','_','_','_','_','h',
                                     'w','f','_','t','_','_','_','_');
    
    __m128i src0 = _mm_loadu_si128((__m128i*)&src[0]);
    __m128i src1 = _mm_loadu_si128((__m128i*)&src[16]);
    __m128i src2 = _mm_loadu_si128((__m128i*)&src[32]);
    __m128i src3 = _mm_loadu_si128((__m128i*)&src[48]);
    __m128i acc;

    acc = _mm_cmpeq_epi8(_mm_shuffle_epi8(tab, src0), src0);
    acc = _mm_and_si128(acc, _mm_cmpeq_epi8(_mm_shuffle_epi8(tab, src1), src1));
    acc = _mm_and_si128(acc, _mm_cmpeq_epi8(_mm_shuffle_epi8(tab, src2), src2));
    acc = _mm_and_si128(acc, _mm_cmpeq_epi8(_mm_shuffle_epi8(tab, src3), src3));
    return !!(((unsigned)_mm_movemask_epi8(acc)) == 0xFFFF);
}

使用数据的低 4 位，我们可以从我们的集合中选择一个具有该低半字节值的字节。例如'o' (0x6f) 进入表的高字节，因此0x?f 形式的输入字节尝试与之匹配。即它是_mm_set_epi8 的第一个元素，从高到低。

有关其他特殊/更一般情况的此技术的变体，请参阅完整文章。

【讨论】：