我什么时候必须在 tensorflow 中显式使用重用选项

Question

在 Tensorflow 文档中它说，variable_scope 中的所有内容都继承了 reuse 选项，如下所示：

with tf.variable_scope("name", reuse=True):
    # inherits reuse=True

但我的问题是，例如，当我使用以下辅助方法之一时：

fc = tf.contrib.layers.fully_connected(input, 512, activation_fn=tf.nn.relu, weights_initializer=tf.contrib.layers.xavier_initializer(uniform=False))

norm = tf.contrib.layers.batch_norm(conv, 0.9, epsilon=1e-5, activation_fn=tf.nn.relu, scope=scope, fused=True)

我是否必须像这样明确设置选项：reuse 和 scope：

fc = tf.contrib.layers.fully_connected(input, 512, activation_fn=tf.nn.relu, weights_initializer=tf.contrib.layers.xavier_initializer(uniform=False), scope=scope, reuse=True)

norm = tf.contrib.layers.batch_norm(conv, 0.9, epsilon=1e-5, activation_fn=tf.nn.relu, scope=scope, reuse=True, is_training=self.is_training, fused=True)

或者这是如何工作的？

Answer 1

我是否必须像这样明确设置选项：重用和范围：

reuse 参数旨在在图中的不同操作之间重用现有变量Sharing Variables。在神经网络训练步骤中学习参数；因此，要在验证期间使用这些学习参数，您可以使用 reuse 参数检索变量，而无需重置值或重新创建这些变量。

跟踪reuse 参数是一种很好的做法

# a usual CNN model definition with reuse parameter
def model(input, reuse=None):
    fc = tf.contrib.layers.fully_connected(input, 512,activation_fn=tf.nn.relu,   
         weights_initializer=tf.contrib.layers.xavier_initializer(uniform=False),   
         scope=scope, reuse=reuse)

    norm = tf.contrib.layers.batch_norm(conv, 0.9, epsilon=1e-5,
        activation_fn=tf.nn.relu, scope=scope, reuse=reuse, 
        is_training=self.is_training, fused=True)
    ...


# Now for training; setting reuse=None creates the graph variables
some_ouput = model(input, reuse=None)

# Now for validation; setting reuse=True; retrieve the learned variables for validation without creating new one.
some_output = model(input, reuse=True) 

Answer 2

首先，谷歌搜索！这应该可以回答您的问题：Tensorflow variable scope: reuse if variable exists

但如果不是.. 如果您实际上重用模型的一部分，而不是使用该层，则需要调用重用。假设您有一个函数定义为：

def func(input,scope=scope, reuse=reuse):
    fc = tf.contrib.layers.fully_connected(input, ..., scope=scope, reuse=reuse)
    norm = tf.contrib.layers.batch_norm(fc, ..., scope=scope, reuse=reuse) 
    return norm

Scope 将定义变量的命名空间（阅读更多关于范围 What's the difference of name scope and a variable scope in tensorflow?、https://jasdeep06.github.io/posts/variable-sharing-in-tensorflow/、Understanding Variable scope example in Tensorflow 的信息），所以一旦你使用 scope='scp' 和 input.shape=(1, 2,3)，您将无法以相同的范围和 input.shape=(3,4,5) 运行相同的函数，因为具有给定范围和不同形状的变量已经存在。 因此，您应该在第二次调用函数时使用 reuse=True。