tf.train.get_global_step() 的值与当前训练步骤之间的差异

Question

tf.train.get_global_step() 是否返回当前训练步的值？如果不是，那么 currentglobal_step 与当前训练步骤有何不同？

这是参考以下代码：

optimizer=lambda: tf.train.FtrlOptimizer(
      learning_rate=tf.train.exponential_decay(
          learning_rate=0.1,
          global_step=tf.train.get_global_step(),
          decay_steps=10000000,
          decay_rate=0.96)))

tf.train.get_global_step() 是否会在每个训练步骤中增加 global_step 并相应地影响learning_rate？或者更具体地说，global_step 的值是否会与当前的训练步长值相同并相应地影响learning_rate？

Answer 1

问题编辑后编辑

tf.train.get_global_step() 会在每个训练步骤增加 global_step 吗？

没有。优化器将处理增量，tf.train.get_global_step() 只会为您获取定义的当前变量以存储全局步骤（如果已定义）。

并相应地影响 learning_rate？

是的，学习率调度会在内部获取当前全局步长的值，并相应地调整 LR。

更新：一些说明

在 TF 中，python 中常用的“变量”（not tf.Variable()）和张量（tf.Variable 是张量）之间存在关键区别。

当你打电话时

global_step = tf.train.get_global_step()

（假设之前在某处定义了一个全局步骤）你会得到一个 Tensor 对象，而不是一个整数。

基本思想是将计算的构建阶段（您描述应用于数据的操作）与实际执行（您提供数据并获取结果）分开。这通常一开始会引起混淆，但这是 TF 编程模型的一个关键点（至少在 TF 2.0 之前）。

如果你想得到global_step的当前值，你需要评估图表。假设您已经定义了 tf.Session()，您可以：

step_value = sess.run(global_step)

或者：

step_value = global_step.eval(session=sess)

这是在 LR 计划内部完成的。在每一步，它将获取全局步骤的当前值，并使用给定的参数从中计算 LR。同样，内部优化器会在每一步更新当前的全局步长值，因此除非您需要该值用于日志记录/调试，否则您通常不会自己显式评估 global_step。