Tensorflow 中的随机梯度下降在概念上似乎是错误的

Question

我正在使用 Tensorflow 探索线性回归。这是我来自this notebook的代码。

import tensorflow as tf
import numpy as np
learning_rate = 0.01

x_train = np.linspace(-1,1,101)
y_train = 2*x_train + np.random.randn(*x_train.shape) * 0.33

X = tf.placeholder("float")
Y = tf.placeholder("float")
def model(X, w):
    return tf.multiply(X,w)
w = tf.Variable(0.0, name = "weights")

training_epochs = 100
y_model = model(X,w)
cost = tf.reduce_mean(tf.square(Y-y_model))
train_op = tf.train.GradientDescentOptimizer(learning_rate=learning_rate).minimize(cost)
with tf.Session() as sess:
    init = tf.global_variables_initializer()
    sess.run(init)
    for epoch in range(training_epochs):
        for (x,y) in zip(x_train,y_train):
            sess.run(train_op, feed_dict = {X:x, Y: y})
        print(sess.run(w))

它试图最小化成本函数。根据这个问题的answers，我认为tf.reduce_mean() 会像np.mean() 一样工作。

但是，每次将一对(x,y) 馈送到train_op 时，w 的权重似乎不是根据 THE 对而是根据之前的所有对更新。

对此有何解释？这是否与与优化器一起工作有关？

Answer 1

我想回答我自己的问题。如果您认为这完全线性回归，这不是一个微不足道的问题。

1. 我误解了 tf.train.GradientDescentOptimizer 的性能。它只运行一步来最小化损失函数，而不是最小化值。如果是这样，@UmangGupta 是正确的，我们得到了斜坡。

2. 在每个 epoch 中，优化器都会尝试针对每个数据点“一点点”优化损失函数。因此，将数据提供给优化器的顺序很重要。所以下面的代码会给出不同的答案。

   for (x,y) in list(zip(x_train,y_train))[::-1]: sess.run(train_op, feed_dict = {X:x, Y: y})

总之，这段代码运行的不是严格的线性回归，而是它的近似值。

Answer 2

如果您更改这段代码

for epoch in range(training_epochs):
    for (x,y) in zip(x_train,y_train):
        sess.run(train_op, feed_dict = {X:x, Y: y})

通过这个

for (x,y) in zip(x_train,y_train):
    for epoch in range(training_epochs):
        sess.run(train_op, feed_dict = {X:x, Y: y})

你得到你所期望的吗？

在您的原始代码中，第一个循环是指迭代，因此您要修复梯度下降的第一次迭代，然后将其应用于所有先前的对（因为您的第二个循环是指所有先前的对），然后您'正在修复第二次迭代，然后您再次对所有先前的对应用梯度下降，依此类推。

如果您如上所述交换循环，那么您正在修复一对，然后将梯度下降的所有迭代应用于该一对。我不确定这是否是你想要的。