【问题标题】:How to convert int 64 to int 32 with avx (but without avx-512)如何使用 avx(但没有 avx-512)将 int 64 转换为 int 32
【发布时间】:2021-11-23 05:32:09
【问题描述】:

我想将 4 个长整数(64 位)的寄存器转换/打包为 4 个整数(32 位)。换句话说,将 int64 的 __m256i 转换为 int32 的 __m128i。

我没有 avx-512 可供我使用,所以内建:

__m256i n;
__m128i r128i = _mm256_cvtepi64_epi32( n );

不适用于我。有比以下更好的替代品吗?

失去矢量化:

__m256i n;
alignas(32) int64_t temp[4];
_mm256_store_si256((__m256i*)temp, n);
int32_t a = (int32_t)temp[0];
int32_t b = (int32_t)temp[1];
int32_t c = (int32_t)temp[2];
int32_t d = (int32_t)temp[3];
__m128i r128i = _mm_set_epi32(a, b, c, d);

这会打包成 16 位整数而不是 32 位

__m128i lo_lane = _mm256_castsi256_si128(n);
__m128i hi_lane = _mm256_extracti128_si256(n, 1);
__m128i r128i = _mm_packus_epi32(lo_lane, hi_lane);

【问题讨论】:

  • 您是如何生成__m256i 值的?能否将两个连续的结果重新排列为{a0, a1, a4, a5}{a2, a3, a6, a7}
  • @chtz "__m256i" 存储 Mandelbrot 分形图案的像素值,需要转换为 int32_t 像素缓冲区。 (为此工作:youtu.be/x9Scb5Mku1g?t=2928 学习 simd)
  • Mandelbrot 不需要元素之间的交互,因此您可以使用带有 64 位元素排列的 __m256i 向量对,这样您只需使用通道内 _mm256_shuffle_ps 即可按顺序获得最终结果,2x2 低半部分的四个元素进入结果的低半部分,然后是高半部分,如果这是 @chtz 的想法的话。
  • 没错,@PeterCordes(我本来不打算看视频的——我不认为 code-as-image 可以被超越......)
  • @chtz:是的,我也没有。没有单独的代码/文本链接的视频似乎是呈现教程的最糟糕的方式之一,使得浏览和搜索变得不可能。幸运的是,受它启发的实际 SO 问题问得很好。 (而且 SIMD Mandelbrot 之前一般都被问过问题,例如您是否继续运行整个元素向量直到最后一个逃脱或达到最大迭代,或者直到第一次逃脱。即如何充分利用您的执行单元. 最简单的,并且对于非巨大的最大迭代次数来说还可以,是使用固定布局)。

标签: simd sse avx


【解决方案1】:

所以只是截断,而不是有符号(或无符号)饱和? (我问是因为 AVX-512 提供了signed and unsigned saturation versions,以及截断。你使用的非 AVX512 包,如_mm_packus_epi32 (packusdw) 总是做饱和,如果你想打包,你必须使用普通的随机播放指令在 AVX-512 之前截断。但如果因为上半部分已知为零而任何一个都可以,那么打包指令可能很有用。)


单向量__m256i -> __m128i

对于产生更窄输出的单个向量,您可以使用vextracti128vshufps 将单个__m256i 打包成__m128i。在 AVX-512 之前,vshufps 是仅有的具有任何控制输入的 2 输入 shuffle 之一,而不仅仅是固定交错。

在具有内在函数的 C 中,您需要 _mm_castsi128_ps 并返回以使编译器满意地在整数向量上使用 _mm_shuffle_ps,但现代 CPU 没有在整数 SIMD 指令之间使用 FP shuffle 的绕过延迟。或者,如果您只是要存储它,您可以将结果保留为 __m128 并使用 _mm_store_ps((float*)p, vec); (是的,将整数指针强制转换为 float* 仍然是严格别名安全的,因为 deref 发生在内在函数内部,不是纯C)。

#include <immintrin.h>

__m128 cvtepi64_epi32_avx(__m256i v)
{
   __m256 vf = _mm256_castsi256_ps( v );      // free
   __m128 hi = _mm256_extractf128_ps(vf, 1);  // vextractf128
   __m128 lo = _mm256_castps256_ps128( vf );  // also free
   // take the bottom 32 bits of each 64-bit chunk in lo and hi
   __m128 packed = _mm_shuffle_ps(lo, hi, _MM_SHUFFLE(2, 0, 2, 0));  // shufps
   //return _mm_castps_si128(packed);  // if you want
   return packed;
}   

这是每 128 位输出数据 2 次随机播放。我们可以做得更好:每 256 位输出数据 2 次随机播放。 (如果我们可以很好地安排我们的输入,甚至只有 1 个)。


2x __m256i 输入产生 __m256i 输出

幸运的是,clang 发现了比我更好的优化。我认为 2x vpermd + vpblendd 可以做到这一点,将一个向量中每个元素的 low32 改组到底部通道,或另一个向量中的顶部通道。 (使用set_epi32(6,4,2,0, 6,4,2,0) 随机播放控件)。

但 clang 将其优化为 vshufps 以将我们想要的所有元素放入一个向量中,然后 vpermpd(相当于 vpermq)将它们放入正确的顺序。 (这通常是一个很好的策略,我自己也应该想到这一点。:P 同样,它利用vshufps 作为 2-input shuffle。)

将其转换回内在函数,我们得到的代码将编译为 GCC 或其他编译器 (Godbolt compiler explorer for this and the original) 的高效 asm:

// 2x 256 -> 1x 256-bit result
__m256i pack64to32(__m256i a, __m256i b)
{
    // grab the 32-bit low halves of 64-bit elements into one vector
   __m256 combined = _mm256_shuffle_ps(_mm256_castsi256_ps(a),
                                       _mm256_castsi256_ps(b), _MM_SHUFFLE(2,0,2,0));
    // {b3,b2, a3,a2 | b1,b0, a1,a0}  from high to low

    // re-arrange pairs of 32-bit elements with vpermpd (or vpermq if you want)
    __m256d ordered = _mm256_permute4x64_pd(_mm256_castps_pd(combined), _MM_SHUFFLE(3,1,2,0));
    return _mm256_castpd_si256(ordered);
}

它只编译为 2 条指令,带有立即随机播放控制,没有向量常量。源代码看起来很冗长,但主要是为了让编译器对类型感到满意而进行强制转换。

# clang -O3 -march=haswell
pack64to32:                             # @pack64to32
        vshufps ymm0, ymm0, ymm1, 136           # ymm0 = ymm0[0,2],ymm1[0,2],ymm0[4,6],ymm1[4,6]
        vpermpd ymm0, ymm0, 216                 # ymm0 = ymm0[0,2,1,3]
        ret

通过输入重新排序以避免车道交叉:一个vshufps

如果您可以排列输入向量对,使它们以{a0, a1 | a4, a5}{a2, a3 | a6, a7} 的顺序具有 64 位元素,那么您只需要一个通道内随机播放:低 4x 32 位元素来自低半部分每个 256 位输入等。您可以使用一个 _mm256_shuffle_ps 完成工作。 (完全如上,不需要_mm256_permute4x64_pd)。感谢@chtz in cmets 在这个建议的问题下。

Mandelbrot 不需要元素之间的交互,因此您可以使用成对的 __m256i 向量和 64 位元素的排列方式。

如果您从带有 {0,1,2,3}{4,5,6,7} 之类的展开循环开始,并使用 _mm256_add_epi64set1_epi64(8) 来递增,您可以改为从 {0,1,4,5}{2,3,6,7} 开始,一切都应该正常同样。 (除非您正在做其他事情,而您的元素的顺序很重要?)


Asm 与固有名称

咨询Intel's intrinsics guide按asm助记词搜索;它们打字更短,更容易思考机器实际可以做什么,并且需要 asm 助记符来查找 https://uops.info/table.html / https://agner.org/optimize/ 中的性能。

【讨论】:

  • 截断很好,尽管我很想知道是否有用于学习目的的饱和解决方案(即使它涉及 avx-512)
  • 我忘了提到我正在寻找具有内在的解决方案。当您说 vshufps 时,您是否建议使用 _mm256_shuffle_epi8?您不能在 128 位通道上随机播放 (_mm256_castsi256_si128( _mm256_shuffle_epi8 (_n, _mm256_set_epi8(...,27,26,25,24,19,18,17,16,11,10,9,8,3,2, 1,0)) ); 不会按预期工作) 所以需要额外的工作来在每个 __m128i 通道中打包我的 2 个 int32,然后在 _mm_or_si128 两个寄存器中打包。
  • @arkan:Intel's intrinsic finder lets you search by asm mnemonic...ps 助记符始终是 ..._ps 内在函数。这是_mm256_shuffle_ps。 (是的,为了让 C 编译器满意,您必须使用 _mm256_cast... intriniscs 才能对整数数据使用 FP shuffle。)但是,就像我说的,您实际上并不想要 vshufps
  • @arkan:除非你只是将一个 __m256i 压缩到一个 __m128i,否则不要使用 2x 256 位向量 -> 1x 256 位向量。
  • @arkan:用内在函数更新。 (以及使用_mm256_shuffle_ps 的 2x __m256i -> __m256i 的更好策略)。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-10-30
  • 2019-07-08
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多