Tensorflow MNIST（权重和偏差变量）

Question

我正在学习如何将 Tensorflow 与 MNIST 教程一起使用，但我在教程的某个要点上有所阻碍。

这里是提供的代码：

from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf

mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
x = tf.placeholder(tf.float32, [None, 784])
W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
y = tf.nn.softmax(tf.matmul(x, W) + b)
y_ = tf.placeholder(tf.float32, [None, 10])

cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))

train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)
saver = tf.train.Saver()
init = tf.initialize_all_variables()
sess = tf.Session()
sess.run(init)
for i in range(1000):
  batch_xs, batch_ys = mnist.train.next_batch(100)
  sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

但我实际上根本不明白变量“W”（权重）和“b”（偏差）在计算时是如何变化的？ 在每批中，它们都初始化为零，但在 ? 我完全看不出他们将在代码中的哪些地方进行更改？

非常感谢您！

Answer 1

TensorFlow variables 从一个 run() 调用到下一个调用保持其状态。在您的程序中，它们将被初始化为零，然后在训练循环中逐步更新。

更改变量值的代码由以下行隐式创建：

train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

在 TensorFlow 中，tf.train.Optimizer 是一个创建用于更新变量的操作的类，通常基于某些张量相对于这些变量的梯度（例如损失）。默认情况下，当您 调用Optimizer.minimize()，TensorFlow 创建操作来更新给定张量（在本例中为cross_entropy）所依赖的所有变量。

当您调用 sess.run(train_step) 时，它会运行一个包含这些更新操作的图，并因此指示 TensorFlow 更新变量的值。