使用预训练模型训练模型

Question

我在 Keras 中有一个预先训练好的模型。我想训练另一个模型，其中模型的输出是已训练模型的输入，并且已训练模型的输出用于未训练模型的损失函数。像

in_a + mod_b(some kind of feedback from B here) --> Model A --> out_a --> Model B --> out_b

error  = (in_a - out_b)**2

然后使用这个错误来训练模型 A。 in_a 在这个系统中可以被视为一个常数，并且还有一个反馈循环

任何想法如何在 keras 或 tensorflow 中做到这一点

Answer 1

这是一个想法。构建模型 A 直到输出层，我们假设它与模型 B 的输入层兼容。另外，假设您使用预训练的 VGG16 作为模型 B。您将使用预训练的权重加载模型：

from keras.applications.vgg16 import VGG16

# Model A is trainable
x = Input(shape=(32,))
x_d = Dense(10)(x)
model_a_out = Dense(10)(x_d)

# Model B
model_b = VGG16(weights='imagenet', include_top=True)
# Freeze Model B
for layer in model_b.layers:
    layer.trainable = False

# Set input to Model B as output from A
model_b.input = model_a_out

# Train as usual
model_b.compile... and model_b.fit ...

另一种方法是先构建A。然后：

for layer in model_b.layers:
  new_layer = layer
  new_layer.trainable = False
  model_a.add(new_layer)

查看 Keras Applications 页面了解一些想法。