如何克服 CNN 中的过拟合——标准方法不起作用答案

【问题标题】：How to overcome overfitting in CNN - standard methods don't work如何克服 CNN 中的过拟合——标准方法不起作用
【发布时间】：2018-07-14 10:36:00
【问题描述】：

我最近一直在研究斯坦福 (http://ai.stanford.edu/~jkrause/cars/car_dataset.html) 的汽车数据集。从一开始我就有一个过度拟合的问题，所以决定：

每一步都让我前进了一点点。然而，与 99% 的训练准确度相比，我完成了 50% 的验证准确度（开始时低于 20%）。

您知道我还能做些什么来达到大约 80-90% 的准确率吗？

希望这可以帮助一些人！:)

【问题讨论】：

【解决方案1】：

您应该尝试的事情包括：

其他一般性建议可能是尝试在此特定数据集上复制最先进的模型，看看它们是否能正常运行。
还要确保解决所有实现细节（例如，卷积是沿宽度和高度执行的，而不是沿通道维度执行的 - 例如，在开始使用 Keras 时，这是一个典型的新手错误）。

了解更多关于您正在使用的代码的详细信息也会有所帮助，但现在这些建议就可以了。
无论如何，在 200 类问题上 50% 的准确率听起来并不那么糟糕。

干杯

【讨论】：

类相当平衡，因为每个类有大约 80-90 张图像，训练/验证拆分为 50%/50%。至于其余的，我玩了一点超参数，但会尝试更多。代码是基于 Keras 的。我使用了在 ImageNet 上预训练的 VGG16 ready mande 模型。
模特base_model = VGG16(weights='imagenet', include_top=False, input_shape=(224, 224, 3)) x = Flatten()(base_model.output) x = Dense(4096, activation='relu')(x) x = BatchNormalization()(x) x = Dropout(dropoutRate)(x) x = Dense(4096, activation='relu')(x) x = BatchNormalization()(x) x = Dropout(dropoutRate)(x) pred = Dense(len(classes), activation='softmax', kernel_initializer='random_uniform', bias_initializer='random_uniform', bias_regularizer=regularizers.l2(0.01), name='predictions')(x) model = Model(inputs=base_model.input, outputs=pred)
顺便说一句。您认为对于呈现的数据集而言，什么样的准确性是好的？最初我认为是 80-90%，但现在我认为 70% 将是一个非常好的结果:)

【解决方案2】：

对于那些遇到同样问题的人，我主要通过处理 dropout、学习率和学习衰减来获得 66.11% 的准确率。

在 VGG16 架构上取得了最好的结果。

【讨论】：