如何解决nan loss？

Question

问题

我在 MNIST 上运行深度神经网络，其中损失定义如下：

cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(pred, label))

该程序似乎运行正常，直到我在 10000+ th minibatch 中出现 nan 损失。有时，程序会正常运行，直到完成。我认为tf.nn.softmax_cross_entropy_with_logits 给了我这个错误。 这很奇怪，因为代码只包含mul 和add 操作。

可能的解决方案

也许我可以使用：

if cost == "nan":
  optimizer = an empty optimizer 
else:
  ...
  optimizer = real optimizer

但我找不到nan 的类型。如何检查变量是否为nan？

我还能如何解决这个问题？

Answer 1

我在这里发现了类似的问题TensorFlow cross_entropy NaN problem

感谢作者user1111929

tf.nn.softmax_cross_entropy_with_logits => -tf.reduce_sum(y_*tf.log(y_conv))

实际上是一种计算交叉熵的可怕方法。在某些样本中，一段时间后可以确定地排除某些类，导致该样本的 y_conv=0。这通常不是问题，因为您对这些不感兴趣，但是以 cross_entropy 的写入方式，它会为该特定样本/类产生 0*log(0) 。因此是 NaN。

替换为

cross_entropy = -tf.reduce_sum(y_*tf.log(y_conv + 1e-10))

或者

cross_entropy = -tf.reduce_sum(y_*tf.log(tf.clip_by_value(y_conv,1e-10,1.0)))

解决了 nan 问题。

Answer 2

您得到 NaN 的原因很可能是在您的成本函数或 softmax 中的某个地方，您试图取零的对数，这不是一个数字。但是为了回答您关于检测 NaN 的具体问题，Python 具有在数学模块中测试 NaN 的内置功能。例如：

import math
val = float('nan')
val
if math.isnan(val):
    print('Detected NaN')
    import pdb; pdb.set_trace() # Break into debugger to look around

Answer 3

检查您的学习率。您的网络越大，需要学习的参数就越多。这意味着您还需要降低学习率。

Answer 4

我没有您的代码或数据。但是tf.nn.softmax_cross_entropy_with_logits 应该是稳定的，具有有效的概率分布（更多信息here）。我假设您的数据不符合此要求。 here 也讨论了一个类似的问题。这会导致您：

1. 实现您自己的softmax_cross_entropy_with_logits 函数，例如试试（source）：

   epsilon = tf.constant(value=0.00001, shape=shape)
   logits = logits + epsilon
   softmax = tf.nn.softmax(logits)
   cross_entropy = -tf.reduce_sum(labels * tf.log(softmax), reduction_indices=[1])
   

2. 更新您的数据，使其具有有效的概率分布