tf.keras 如何在自定义模型中重用 resnet 层作为自定义层答案

【问题标题】：tf.keras how to reuse resnet layers as customize layer in customize modeltf.keras 如何在自定义模型中重用 resnet 层作为自定义层
【发布时间】：2020-05-07 02:53:26
【问题描述】：

我正在寻找一种解决方案，将预训练的 Resnet50 模型作为大型自定义模型中的自定义子层重用。

在我的场景中，我使用 Resnet50 作为 FCN 主干，然后我将使用 FCN 输出结果作为另一个网络层的输入。（它是一个管道）

你可以看到我的代码： https://github.com/piginzoo/textscanner/blob/master/network/layers/fcn_layer.py https://github.com/piginzoo/textscanner/blob/master/network/model.py

我的问题是，我找不到示例代码，将 Resnet50 层集成为 TF 2.0 中自定义层的一部分，我搜索了 stackoverflow、TF2.0 官方网站和博客，找不到可行的代码 sn-p 到演示如何实现这样的要求。

但我相信这是一个非常普遍的范例，有没有人遇到过这样的问题，任何建议或代码演示都将不胜感激。

【问题讨论】：

所有示例均适用于 tf1.x 或旧 keras 版本，没有适用于 tf 2.0 和 tf.keras 的示例
stackoverflow.com/questions/57637985/… 参考这篇文章，我认为使用 tf.hub resnet50 作为我的自定义模型的输入可能是一个想法......
但是当我尝试的时候，我发现我只能得到它的最终输出向量，但是对于FCN我需要得到它的pool3,pool4,pool5，它们是中间层的输出。

标签： tensorflow keras customization layer resnet

【解决方案1】：

最后我找到了一种可行的方法，比如：

如代码所示，我创建了一个新模型，它使用预训练的 Resnet50 的输入作为他的输入，并使用 3 个“conv_block_out”作为新模型的输出，在调用方法中，我只是将模型称为“a图层”样式。

详情可以参考我的Github for completed code。

虚拟代码：

class FCNLayer(Layer):
    def __init__(self, name, resnet50_model):
        super().__init__(name=name)
        resnet50_model.layers.pop()
        resnet50_model.summary()
        self.resnet50_model = resnet50_model

    def build(self, input_image, FILTER_NUM=4):
        layer_names = [
            "conv3_block4_out",  # 1/8
            "conv4_block6_out",  # 1/16
            "conv5_block3_out",  # 1/32
        ]
        layers = [self.resnet50_model.get_layer(name).output for name in layer_names]
        self.FCN_left = Model(inputs=self.resnet50_model.input, outputs=layers)
        ......


    def call(self, input_image, training=True):

        pool3, pool4, pool5 = self.FCN_left(input_image)
        .......

【讨论】：