【发布时间】:2016-06-17 02:37:35
【问题描述】:
我有一堆不断写入日志的汇总节点(标量、直方图等)。检查点并不那么频繁,因此我经常遇到这样的情况,即我正在从比已写入日志的事件更早的检查点恢复。当我从检查点恢复并再次开始写入日志时,究竟会发生什么?旧事件会被覆盖吗?文档对此不是很清楚。在 TensorBoard 中,似乎“未来”事件仍然存在。理想情况下,我想在当前 global_step 之前刷新所有内容,然后重新开始。
【问题讨论】:
我有一堆不断写入日志的汇总节点(标量、直方图等)。检查点并不那么频繁,因此我经常遇到这样的情况,即我正在从比已写入日志的事件更早的检查点恢复。当我从检查点恢复并再次开始写入日志时,究竟会发生什么?旧事件会被覆盖吗?文档对此不是很清楚。在 TensorBoard 中,似乎“未来”事件仍然存在。理想情况下,我想在当前 global_step 之前刷新所有内容,然后重新开始。
【问题讨论】:
TensorBoard 确实有处理这种情况的逻辑 - 它会查找重新启动事件,并尝试使用大于重新启动步骤的 global_step 清除所有内容。 See this code。如果您仍然看到孤立的事件,这意味着某些事情不工作 - 也许当您的作业从检查点重新启动时没有写入 SessionLog.START 事件?
你能创建一个简单的重现并在 GitHub 上提交问题吗?
【讨论】: