C：计算出的机器 epsilon 与 limits.h 不同

Question

我尝试使用下面的程序用一个简单的 C 程序估计机器 epsilon

#include <stdio.h>
#include <limits.h>
#include <float.h>

int main(){
  float f = 1.0f;
  float prev_f = 1.0f;

  while( 1 + f != 1 ){ 
    prev_f = f;
    f /= 2;  
  }
  prev_f *= 2;  

  printf("Calculated epsilon for float is %.10g", prev_f);
  printf("The actual value is %.10f", FLT_EPSILON);
  return 0;
}

我的输出在哪里

Calculated epsilon for float is 2.802596929e-45

The actual value is 0.0000001192

谁能向我解释这种偏差？它是特定于架构的吗？编译器依赖？我是不是做错了什么？

编辑： 问题似乎是由于我在 gcc 中使用 -Ofast 优化造成的。改用 -O 可以解决问题。

Answer 1

首先，删除prev_f *= 2;。由于循环通过将1 + f != 1 失败的值存储在prev_f 中来记住f 的值，因此循环结束时prev_f 的值是导致1+f 不等于1 的最后一个值，即你想要的结果。¹

其次，允许 C 实现以比其名义类型更精确的精度评估浮点表达式。看来您的 C 实现正在以无限精度有效地评估1+f != 1（这可以通过在编译时识别1+f != 1 评估为无限精度是真的，如果f != 0，因此优化可以将其更改为f != 0）。因此，循环仅在f 变为零时终止，此时之前的f 是可表示的最小正值，对于float 常用的格式，它是2^-149。 （并且您当前的代码将其加倍并打印 2⁻¹⁴⁸。）请注意，（有效的）无限精度仅在评估 1 + f != 1 时出现，而不是在赋值 f /= 2; 中出现。这是因为 C 标准要求实现在执行强制转换和赋值时“丢弃”多余的精度。这给了我们解决这个问题的方法：将1 + f != 1 更改为(float) (1 + f) != 1。这将强制以float 格式进行评估。²

脚注

¹ 有点像。机器 epsilon 有时被错误地声明为最小值 x，因此评估 1+x 会产生大于 x 的值。但是，它被定义为 1 和下一个更大的可表示值之间的差异，例如 1+?。如果我们让 x 略大于 ½?（例如 ½?(1+?)），那么由于舍入，计算 1+x 会产生 1+?，即使x 小于机器 epsilon。但是，如果上述问题得到修复并且浮点基数为 2，则此代码将找到正确的值，因为它从未测试机器 epsilon 的这些错误候选之一，因此永远找不到。

² 通常，可能会出现双舍入问题：当 C 实现使用超精度来评估表​​达式时，它可能会将理想的数学结果舍入到超精度。当它通过强制转换或赋值强制“丢弃”多余的精度时，它会四舍五入到标称精度。这两种舍入可能导致与仅对标称精度进行一次舍入时不同的结果。但是，在这种特殊情况下，这不是问题。