如何在 Keras/Tensorflow 中替换现有模型的激活层？

Question

我有一个使用 Swish (SiLU) 激活的预训练模型：

from tensorflow.keras.applications import EfficientNetB0

e_net = EfficientNetB0(weights='imagenet', include_top=False)

我想用 LeakyReLU 替换它的所有激活。对于 ReLU 或 Sigmoid 等基本函数，可以像这样轻松替换：

from tensorflow.python.keras.layers import Activation
from tensorflow.keras import activations

for layer in e_net.layers:
    if isinstance(layer, Activation):
        layer.activation = activations.get('relu')

但是这个模块中没有 LeakyRelu 函数。相反，它被实现为单独的层，我不知道如何替换它。直接修改无效（即使在重新编译模型或从文件保存/加载后）：

from tensorflow.keras.layers import LeakyReLU

for i, layer in enumerate(e_net.layers):
    if isinstance(layer, Activation):
        name = layer.name
        model.layers[i] = LeakyReLU(name=name) # does not work

Answer 1

如果您必须从代码 sn-p 替换所有激活，那么您在正确的路径上。 您的代码 model.layers[i] = LeakyReLU(name=name) 存在问题。使用名称作为参数将不起作用。 你可以试试下面的代码：

import tensorflow as tf
from tensorflow.keras.layers import LeakyReLU
l_relu = LeakyReLU(alpha=0.3)

for layer in e_net.layers:
    if (hasattr(layer,'activation'))==True:
          layer.activation = l_relu

干杯，希望对你有帮助！