结合卷积神经网络

Question

我正在研究音频分类并使用频谱图和 MFCC 图来训练 CNN 图像分类器。目前，我有两个单独的 ConvNets 对这些特征进行了平均训练（55-60% 的准确率）。每个模型都有两个单独的重量文件。 现在我想结合这两个模型，即我想从每个音频文件中提取频谱图和 MFCC，并在我已经构建的模型上进行测试并获得更高的准确度。我该怎么做？

Answer 1

组合已训练模型的一种方法是使用通用的全连接层并训练网络。

您可以将此全连接层放置在两个卷积模型的末尾。

因此，输入将进入 ConVModel-1 和 ConvModel-2。您将获得 2 个输出向量。组合这 2 个输出向量（连接、平均等）。现在将这个新形成的向量传递给全连接层。

您现在可以通过 2 种方式训练这个网络 -

1. 仅更新 FC 层的权重。
2. 更新 FC 层 + 两个 ConvModel 的权重。