Keras 中均衡学习率的实现

Question

我正在尝试在我的 GAN 中实现均衡学习率。我已经使用 stddev 初始化了正态分布的权重，并将我层的调用函数更改为：

def call(self, inputs):
    he_constant = tf.sqrt(
        x=2. / tf.size(input=self.kernel, out_type=tf.float32)
    )
    self.kernel = self.kernel * he_constant
    return super(EqualizedConv2D, self).call(inputs)

但是计算出来的 he_constant 非常小，例如0.004，这导致网络不学习任何东西。我已经人为地增加了这个值

我错过了什么？

Answer 1

我想，我已经找到了解决方案，我正在使用缩放权重，而不是替换它们。结果，GAN 学得很好，损失也更合理。 新实现：

def call(self, inputs):
    return super(EqualizedConv2D, self).call(inputs)
    # --- disabled rest equalized learning rate for now, does not work as expected.
    outputs = backend.conv2d(
        inputs,
        self.kernel*self.scale,
        strides=self.strides,
        padding=self.padding,
        data_format=self.data_format,
        dilation_rate=self.dilation_rate)
    outputs = backend.bias_add(
        outputs,
        self.bias,
        data_format=self.data_format)
    if self.activation is not None:
        return self.activation(outputs)
    return outputs

如果仍然不正确，请告诉我。