如何在自定义 keras 层中使用 keras 层

Question

我正在尝试编写自己的 keras 层。在这一层中，我想使用一些其他的 keras 层。有没有办法做这样的事情：

class MyDenseLayer(tf.keras.layers.Layer):
  def __init__(self, num_outputs):
    super(MyDenseLayer, self).__init__()
    self.num_outputs = num_outputs

  def build(self, input_shape):
    self.fc = tf.keras.layers.Dense(self.num_outputs)

  def call(self, input):
    return self.fc(input)

layer = MyDenseLayer(10)

当我做类似的事情时

input = tf.keras.layers.Input(shape = (16,))
output = MyDenseLayer(10)(input)
model = tf.keras.Model(inputs = [input], outputs = [output])
model.summary()

它输出

我怎样才能让那里的密集人群可以训练？

Answer 1

如果您查看有关如何添加自定义层的文档，他们建议您使用.add_weight(...) 方法。此方法在内部将所有权重放在self._trainable_weights 中。所以要做你想做的事，你必须首先定义你想要使用的 keras 层，构建它们，复制权重，然后构建你自己的层。如果我更新您的代码，它应该类似于

class mylayer(tf.keras.layers.Layer):
    def __init__(self, num_outputs, num_outputs2):
        self.num_outputs = num_outputs
        super(mylayer, self).__init__()

    def build(self, input_shape):
        self.fc = tf.keras.layers.Dense(self.num_outputs)
        self.fc.build(input_shape)
        self._trainable_weights = self.fc.trainable_weights
        super(mylayer, self).build(input_shape)

    def call(self, input):
        return self.fc(input)

layer = mylayer(10)
input = tf.keras.layers.Input(shape=(16, ))
output = layer(input)
model = tf.keras.Model(inputs=[input], outputs=[output])
model.summary()

然后你应该得到你想要的

Answer 2

将现有层放在 tf.keras.models.Model 类中更加舒适和简洁。如果您定义非自定义层，例如层、conv2d，则默认情况下这些层的参数不可训练。

class MyDenseLayer(tf.keras.Model):
  def __init__(self, num_outputs):
    super(MyDenseLayer, self).__init__()
    self.num_outputs = num_outputs
    self.fc = tf.keras.layers.Dense(num_outputs)

  def call(self, input):
    return self.fc(input)

  def compute_output_shape(self, input_shape):
    shape = tf.TensorShape(input_shape).as_list()
    shape[-1] = self.num_outputs
    return tf.TensorShape(shape)

layer = MyDenseLayer(10)

查看本教程：https://www.tensorflow.org/guide/keras#model_subclassing

Answer 3

在TF2 custom layer Guide 中，他们“建议在__init__ 方法中创建此类子层（因为子层通常具有build 方法，它们将在构建外层时构建）。”因此，只需将 self.fc 的创建移动到 __init__ 即可满足您的需求。

class MyDenseLayer(tf.keras.layers.Layer):
  def __init__(self, num_outputs):
    super(MyDenseLayer, self).__init__()
    self.num_outputs = num_outputs
    self.fc = tf.keras.layers.Dense(self.num_outputs)

  def build(self, input_shape):
    self.built = True

  def call(self, input):
    return self.fc(input)

input = tf.keras.layers.Input(shape = (16,))
output = MyDenseLayer(10)(input)
model = tf.keras.Model(inputs = [input], outputs = [output])
model.summary()

输出：

Model: "model_1"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_2 (InputLayer)         [(None, 16)]              0         
_________________________________________________________________
my_dense_layer_2 (MyDenseLay (None, 10)                170       
=================================================================
Total params: 170
Trainable params: 170
Non-trainable params: 0

Answer 4

这对我有用，而且干净、简洁、易读。

import tensorflow as tf


class MyDense(tf.keras.layers.Layer):
    def __init__(self, **kwargs):
        super(MyDense, self).__init__(kwargs)
        self.dense = tf.keras.layers.Dense(2, tf.keras.activations.relu)

    def call(self, inputs, training=None):
        return self.dense(inputs)


inputs = tf.keras.Input(shape=10)
outputs = MyDense(trainable=True)(inputs)
model = tf.keras.Model(inputs=inputs, outputs=outputs, name='test')
model.compile(loss=tf.keras.losses.MeanSquaredError())
model.summary()

输出：

Model: "test"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_1 (InputLayer)         [(None, 10)]              0         
_________________________________________________________________
my_dense (MyDense)           (None, 2)                 22        
=================================================================
Total params: 22
Trainable params: 22
Non-trainable params: 0
_________________________________________________________________

请注意，trainable=True 是必需的。我已经发布了一个关于它的问题here。