【发布时间】：2017-01-13 12:42:01
【问题描述】：
我是 tensorflow 的新手。 当我使用 cnn 训练数据时，有时会在第一批发生“训练期间的 NaN 丢失”。
> loss function is L1-norm
>
> GradientDescentOptimizer is used.
"bach_size" ,"learning_rate" 被调整，甚至 learning_rate = 0 被使用。
我真正困惑的是，当所有参数都固定时，结果有时可以正常运行，有时在第一批时会出现错误“Nan”。我想知道它是怎么发生的？是什么因素导致的结果？
【问题讨论】：
-
欢迎来到stackoverflow。这里的志愿者诊断您的问题的最佳方法是尝试重现它。尝试通过提供一个小型、独立且可重复的示例来改进这个问题 - 就目前而言，这太过猜测了。
-
好吧，因为我们没有您的代码，所以很难确定。但是，大多数时候在训练神经网络时有很多随机因素。你的训练数据被打乱了。您的初始权重是从某种分布中随机挑选的。在损失函数中偶尔出现 NaN 并不是什么大问题，但这可能表明您的损失函数不适合您的数据或网络。
-
感谢@MadWombat~您提供了有关可能导致此问题的因素的有用信息。
标签： python machine-learning tensorflow computer-vision conv-neural-network