Keras 功能 API 和激活

Question

我在尝试通过 Keras 功能 API 使用激活时遇到问题。我最初的目标是在 relu 和leaky relu 之间进行选择，所以我想出了以下代码：

def activation(x, activation_type):
    if activation_type == 'leaky_relu':
        return activations.relu(x, alpha=0.3)
    else:
        return activations.get(activation_type)(x)


# building the model

inputs = keras.Input(input_shape, dtype='float32')
x = Conv2D(filters, (3, 3), padding='same')(inputs)
x = activation(x, 'relu')

但是这样的事情会产生错误：AttributeError: 'Tensor' object has no attribute '_keras_history'。我发现这可能表明我在Model中的输入和输出没有连接。

keras.advanced_activations 是在函数式 API 中实现此类功能的唯一方法吗？

编辑：这是有效的激活功能版本：

    def activation(self, x):
        if self.activation_type == 'leaky_relu':
            act = lambda x: activations.relu(x, alpha=0.3)
        else:
            act = activations.get(self.activation_type)
        return layers.Activation(act)(x)

Answer 1

您想通过激活层向模型添加激活。目前，您正在添加一个不是 Keras Layer 的对象，这会导致您的错误。 （在 Keras 中，图层名称总是以大写字母开头）。尝试这样的事情（最小的例子）：

from keras.layers import Input, Dense, Activation
from keras import activations

def activation(x, activation_type):
    if activation_type == 'leaky_relu':
        return activations.relu(x, alpha=0.3)
    else:
        return activations.get(activation_type)(x)


# building the model
inputs = Input((5,), dtype='float32')
x = Dense(128)(inputs)
# Wrap inside an Activation layer
x = Activation(lambda x: activation(x, 'sigmoid'))(x)