CNTK 多输出训练器

Question

在 CNTK 有多个 Output Layers 的情况下，一个 Train 是否应该有多个 Trainer？

List<Learner> learnersA = new List<Learner>() { Learner.SGDLearner(OutputLayerOne.Parameters(), learningRate) };
List<Learner> learnersB = new List<Learner>() { Learner.SGDLearner(OutputLayerTwo.Parameters(), learningRate) };

Trainer trainerA = Trainer.CreateTrainer(OutputLayerOne, loss, eval, learnersA);
Trainer trainerB = Trainer.CreateTrainer(OutputLayerTwo, loss, eval, learnersB);

或者有没有更好的方法，使用可以训练多种功能的 Trainer 进行训练？

Answer 1

您似乎有 2 个损失函数。目前在优化领域，只存在优化单个损失函数的技术。对于多任务学习（即多个损失函数），您必须将它们组合成一个损失函数。

例子：

loss1 = loss(output1, target1)
loss2 = loss(output2, target2)
final_loss = a * loss1 + (1-a) * loss2  # where `a` is the relative importance between the 2 loss.

您还应该确保 2 loss 具有相同的单位，否则将它们组合在一起没有意义。