混合，精确与许多标签

Question

我想在具有大量类的数据集上训练具有混合精度的 mxnet 胶子模型。但是，类的数量超过了 float16 的限制，并且一些标签和预测是 inf。我该如何解决？

Answer 1

您需要混合使用 Float16 和 Float32（毕竟它是混合精度训练！）。您的数据、标签和网络的某些其他部分（例如 exp 和 softmax）不应转换为 Float16，否则您会发现 Inf 问题。我建议查看 MXNet AMP（自动混合精度）。见this tutorial。