在运行时修改 TensorFlow 模型

Question

我正在尝试在运行时修改 tensorflow 模型的数据流。考虑一个 3 层 FC 神经网络。假设我想为中间位置定义 2 个不同的层。

让我们说， 第一个选项：64 个神经元层 第二个选项：128 神经元层。

然后在预测功能期间，我想在输入数据旁边提供一个输入，例如：

model.predict([x_test, decider])

如果决策者为 0，我希望我的模型执行 64 个神经元层作为中间层。否则，我希望我的模型执行 128 个神经元层作为中间层。

如果我选择其中一个，出于性能原因，我不希望执行另一个选项。

注意：我不关心培训。

有没有办法做到这一点？到目前为止，我一直在尝试使用 tf.cond() 但无法使其工作。

Answer 1

我认为您可以通过重新组合独立模型来实现相同的目标：

import tensorflow as tf
from tensorflow.keras import layers, models
import numpy as np

# First model
input_shape = (16, )
inputs_0 = layers.Input(shape=input_shape)
outputs_0 = layers.Dense(256, 'relu')(inputs_0)
fc_0 = models.Model(inputs_0, outputs_0)
# Middel model 0
inputs_1_0 = layers.Input(shape=(256, ))
outputs_1_0 = layers.Dense(64, 'relu')(inputs_1_0)
outputs_1_0 = layers.Dense(128, 'relu')(outputs_1_0)
fc_1_0 = models.Model(inputs_1_0, outputs_1_0)
# Middel model 1
inputs_1_1 = layers.Input(shape=(256, ))
outputs_1_1 = layers.Dense(128, 'relu')(inputs_1_1)
outputs_1_1 = layers.Dense(128, 'relu')(outputs_1_1)
fc_1_1 = models.Model(inputs_1_1, outputs_1_1)
# Last model
inputs_2 = layers.Input(shape=(128, ))
outputs_2 = layers.Dense(1, 'sigmoid')(inputs_2)
fc_2 = models.Model(inputs_2, outputs_2)

def custom_model(x, d):
    h = fc_0(x)
    if d == 1:
        h = fc_1_0(h)
    else:
        h = fc_1_1(h)
    return fc_2(h)

x = np.random.rand(1, input_shape[0])
decider = 0 # Middel model 0 or 1
y = custom_model(x, decider)