如何使用张量板监控 keras 中的梯度消失和爆炸？

Question

我想用 keras 监控 tensorboard 中的梯度变化，以确定梯度是消失还是爆炸。我该怎么办？

Answer 1

要在 Tensorboard 中可视化训练，请将 keras.callbacks.TensorBoard 回调添加到 model.fit 函数。不要忘记设置write_grads=True 以查看那里的渐变。训练开始后，你就可以跑步了……

tensorboard --logdir=/full_path_to_your_logs

... 从命令行将浏览器指向htttp://localhost:6006。请参阅this question 中的示例代码。

要检查梯度消失/爆炸，请注意感兴趣层中的梯度分布和绝对值（“分布”选项卡）：

• 如果分布高度峰值并集中在 0 附近，则梯度可能正在消失。这是concrete example 在实践中的样子。
• 如果分布的绝对值随时间快速增长，则梯度呈爆炸式增长。通常同一层的输出值也会很快变成NaNs。