如何为您的训练模型选择半精度（BFLOAT16 vs FLOAT16）？

Question

您将如何确定最适合您的推理模型的精度？ BF16 和 F16 都占用两个字节，但它们使用不同的位数来表示分数和指数。

范围会有所不同，但我试图理解为什么一个人选择了一个而不是另一个。

谢谢

    |--------+------+----------+----------|
    | Format | Bits | Exponent | Fraction |
    |--------+------+----------+----------|
    | FP32   |   32 |        8 |       23 |
    | FP16   |   16 |        5 |       10 |
    | BF16   |   16 |        8 |        7 |
    |--------+------+----------+----------|

Range
bfloat16: ~1.18e-38 … ~3.40e38 with 3 significant decimal digits.
float16:  ~5.96e−8 (6.10e−5) … 65504 with 4 significant decimal digits precision.

Answer 1

bfloat16 通常更易于使用，因为它可以替代float32。如果您的代码没有创建nan/inf 数字或使用float32 将非0 转换为0，那么粗略地说，它也不应该使用bfloat16。所以，如果你的硬件支持它，我会选择它。

如果您选择float16，请查看AMP。