tf.initialize_variables() 不便 - FailedPreconditionError tensorflow

Question

我希望能够使用 tf.initialize_variables() 使用特定列表初始化 tensorflow 变量。所以，为了测试这个案例，我正在尝试这个但它失败了：

sess.run(tf.initialize_variables(tf.all_variables()))

出现错误：

tensorflow.python.framework.errors.FailedPreconditionError: Attempting to use uninitialized value Layer_0/Initialize_Variables/weights

对我来说真正奇怪的是，它是这样工作的：

sess.run(tf.initialize_variables([tf.all_variables()[0]]))
sess.run(tf.initialize_variables([tf.all_variables()[1]]))
sess.run(tf.initialize_variables([tf.all_variables()[2]]))
...

因此，如果我创建自己想要初始化的变量列表，也会发生同样的情况。可能我误解了一些张量流机制。有任何想法吗？如果我不必为每个变量使用循环，我会很高兴。

Answer 1

不看代码很难判断，但我猜你是从另一个变量初始化一个变量，这在 TensorFlow 中有点棘手。例如，我想你正在做这样的事情：

v_1 = tf.Variable(...)
v_2 = tf.Variable(v_1)

如果您尝试执行sess.run(tf.initalize_all_variables())，这将失败，因为它将尝试并行初始化v_1 和v_2，但v_2 的初始化将失败（因为它的输入当前未初始化）。

如果你以递增的顺序遍历tf.all_variables()列表，它将起作用，因为v_1在v_2之前添加到列表中，所以顺序运行会导致v_1在v_2之前被初始化. （猜测一下，如果您以 reverse 顺序迭代 tf.all_variables()，它会失败并出现类似的错误。）

修复有点微妙：每当您从另一个变量 v_1 初始化变量 v_2 时，您应该使用 v_1.initialized_value() 作为 v_2 构造函数的参数：

v_1 = tf.Variable(...)
v_2 = tf.Variable(v_1.initialized_value())

使用v_1.initialized_value在两个初始化器之间添加一个控制依赖，这样v_1在v_2之前初始化，即使你尝试并行初始化它们。