如何在摘要中添加学习率？

【问题标题】：How to add learning rate to summaries?如何在摘要中添加学习率？
【发布时间】：2016-11-22 21:34:29
【问题描述】：

如何监控 AdamOptimizer 的学习率？在TensorBoard: Visualizing Learning 中说我需要

通过将 scalar_summary 操作附加到分别输出学习率和损失的节点来收集这些。

我该怎么做？

【问题讨论】：

但是 Adam 的学习率是恒定的……Adam 会计算一些梯度统计数据，并根据学习率和这些统计数据更改步长。
是的，你写的，其实我需要步长的图。

标签： tensorflow tensorboard

【解决方案1】：

我认为在图表中如下所示可以正常工作：

with tf.name_scope("learning_rate"):
    global_step = tf.Variable(0)
    decay_steps = 1000 # setup your decay step
    decay_rate = .95 # setup your decay rate
    learning_rate = tf.train.exponential_decay(0.01, global_step, decay_steps, decay_rate, staircase=True, "learning_rate")
tf.scalar_summary('learning_rate', learning_rate)

（当然要让它工作，它需要tf.merge_all_summaries()并使用tf.train.SummaryWriter将摘要写入日志）

【讨论】：

有趣的答案，但不是ADAM，@zhongyukuang