训练多输出keras模型的选择性分支

Question

我有一个多输出 Keras 模型，其结构类似于：

s = some_shared_layers()(input)
non_trainable1 = Dense(trainable=False) (s) 
non_trainable2 = Dense(trainable=False) (s) 
trainable = Dense() (s) 

model = Model(input, outputs=[non_trainable1, non_trainable2, trainable])

我的模型首先计算前向传递并使用前 2 个输出来操纵输入。然后它计算另一个前向传递以获得第三个输出。

out1, out2,_ =model.predict(input_data) 
processed_data = foo(input_data, out1, out2) 
_,_, out3 = model.predict(processed_data)

我应该如何调用model.fit() 来仅训练trainable 层？如果我排除其他输出的损失，Keras 会发出警告 we will not be expecting any data to be passed to "non_trainable1" during training 并将它们从计算图中排除。

有没有更好的方法来构建这个任务的模型？

Answer 1

如果我理解正确，您根本不需要这些层，实际上您应该有两个模型，一个仅用于预测，另一个用于训练。

不可训练：

model1 = Model(input, [non_trainable1, non_trainable2])
#model 1 doesn't need to be compiled, since you won't train it    

可训练：

model2 = Model(input, trainable)
model2.compile(loss=onlyTheLossForTrainable)     

使用它们：

out1, out2 =model1.predict(input_data) 
processed_data = foo(input_data, out1, out2) 

model2.fit(processed_data, expected_outputs, ....)