-march native 如何影响浮点精度？

Question

我处理的代码中有大量的浮点运算。我们有测试用例记录给定输入的输出，并验证我们不会过多地改变结果。我有它建议我启用 -march native 来提高性能。但是，启用该功能后，我们会遇到测试失败，因为结果发生了变化。由于访问由 -march native 启用的更现代的硬件而将使用的指令是否会减少浮点错误的数量？增加浮点错误量？还是两者兼而有之？融合乘法加法应该减少浮点错误的数量，但这是典型的随时间添加的指令吗？或者是否添加了一些说明，虽然效率更高但准确性更低？

我的目标平台是 x86_64 Linux。根据/proc/cpuinfo的处理器信息为：

processor   : 0
vendor_id   : GenuineIntel
cpu family  : 6
model       : 85
model name  : Intel(R) Xeon(R) Gold 6152 CPU @ 2.10GHz
stepping    : 4
microcode   : 0x2006a0a
cpu MHz     : 2799.999
cache size  : 30976 KB
physical id : 0
siblings    : 44
core id     : 0
cpu cores   : 22
apicid      : 0
initial apicid  : 0
fpu     : yes
fpu_exception   : yes
cpuid level : 22
wp      : yes
flags       : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc art arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 sdbg fma cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm abm 3dnowprefetch cpuid_fault epb cat_l3 cdp_l3 invpcid_single pti intel_ppin ssbd mba ibrs ibpb stibp tpr_shadow vnmi flexpriority ept vpid fsgsbase tsc_adjust bmi1 hle avx2 smep bmi2 erms invpcid rtm cqm mpx rdt_a avx512f avx512dq rdseed adx smap clflushopt clwb intel_pt avx512cd avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves cqm_llc cqm_occup_llc cqm_mbm_total cqm_mbm_local dtherm ida arat pln pts hwp hwp_act_window hwp_epp hwp_pkg_req pku ospke md_clear flush_l1d
bugs        : cpu_meltdown spectre_v1 spectre_v2 spec_store_bypass l1tf mds swapgs taa itlb_multihit
bogomips    : 4200.00
clflush size    : 64
cache_alignment : 64
address sizes   : 46 bits physical, 48 bits virtual
power management:

Answer 1

-march native 表示-march $MY_HARDWARE。 我们不知道你有什么硬件。对你来说，那就是-march=skylake-avx512 (SkyLake SP) 可以通过明确指定你的硬件架构来重现结果。

使用更现代的指令，特别是 Fused-Multiply-and-Add (FMA)，错误很可能会减少。这是操作 a*b+c，但舍入一次而不是两次。这样可以节省一个舍入误差。

Answer 2

使用 FMA 可以减少和增加错误，两者都可能导致测试用例失败，具体取决于测试的工作方式。 FMA 在“本地”改善错误，但在更广泛的背景下效果可能相反。

例如，a * c - b * d（2x2 矩阵的行列式）在 FMA 收缩时会带来一些（通常是轻微的）麻烦。如果没有 FMA，减法有可能消除舍入误差，如果两边相同的话。这并不总是发生，但是当a * c = b * d 特别感兴趣时可能会发生，因为这意味着行列式应该为零。如果没有 FMA，结果实际上会为零，而使用 FMA 则不会。

#include <math.h>
#include <stdio.h>

double determinant(double a, double b, double c, double d)
{
    return a * c - b * d;
}

int main()
{
    volatile double a = M_PI;
    double x = determinant(a, a, a, a);
    printf("%E\n", x);
    return 0;
}

这个程序由 GCC 11.2 编译，启用了优化并允许 FMA，does not print zero，但大约是 1E-16。

单元测试中“这个结果是否足够接近”的一些变体会得出结论，这个结果相对于零是非常错误的。但是，另一种看待它的方式是，如果其中一个输入仅更改 1 个 ULP，则会引入 1E-15 量级的错误，这会更糟。

大多数特殊/新指令要么不影响准确性，要么默认受到限制。例如，addsubpd 和 haddpd（来自 SSE3）只是之前花费更多代码的等价物，roundpd（来自 SSE4.1）默认情况下仅用于不影响结果的方式（使用roundpd 用于 floor 和 ceil 是安全的，具有讽刺意味的是，将其用于 round 本身并不重要，因为中间舍入不同。