减少神经网络中的过拟合

Question

我编写了一个小型神经网络，用于对汽车和非汽车图像进行分类。我需要帮助来避免过度拟合。模型如下图：

model = Sequential()
model.add(Conv2D(8, 3, 3, input_shape=X.shape[1:]))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(BatchNormalization())

model.add(Conv2D(16, 3, 3, input_shape=X.shape[1:]))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(BatchNormalization())

model.add(Conv2D(32, 3, 3))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(BatchNormalization())

model.add(Conv2D(64, 3, 3))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(BatchNormalization())
model.add(Dropout(0.5))

model.add(Flatten())  # this converts our 3D feature maps to 1D feature vectors
model.add(Dense(256))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(1))
model.add(Activation('sigmoid'))

我正在使用生成器：

generator = ImageDataGenerator( featurewise_center=True,
                                samplewise_center=False,
                                featurewise_std_normalization=False,
                                samplewise_std_normalization=False,
                                zca_whitening=False,
                                rotation_range=20.,
                                width_shift_range=0.4,
                                height_shift_range=0.4,
                                shear_range=0.2,
                                zoom_range=0.2,
                                channel_shift_range=0.1,
                                fill_mode='nearest',
                                horizontal_flip=True,
                                vertical_flip=False,
                                rescale=1.2,
                                preprocessing_function=None)

最终，训练 acc 为 98%，而有效 acc 为 70%。你能提出一些建议吗？

Answer 1

所以我至少可以看到两种技术：

1. 尝试增加dropout。
2. 您的过度拟合可能是由于您在training 集合中的valid 集合中的某些汽车模式的代表性不足。您可以尝试增加train - valid split 的值并检查损失值是否彼此更接近。

Answer 2

我建议尝试减小层的大小，因为这可能是过度拟合的原因（需要训练的参数太多）。

例如，这层model.add(Dense(256)) 可能太大了。您可以尝试用 50-70 范围内的东西替换 256，看看它是如何工作的，然后从那里继续。您也可以尝试减少卷积层的大小\数量。

Answer 3

我会发表评论，但我对网站太陌生，无法发表评论。我同意 Miriam 的观点，过度拟合只是说“过于相信训练数据”。神经网络中发生的事情本质上是一个输出分类的函数（因为您正在进行分类与回归）。这意味着您有一条线，一条线下的所有内容都属于一个类，而上面的所有内容都是另一个。通过增加节点/层和总层数，您可以让您的神经网络表示更复杂的功能。因此，通过添加更多层/节点，您将始终在训练集上获得更好的分数，但不一定在其他数据上。想象一条线中有一堆点，但它们并不直接在线上。并且有一些异常值。也许代表它的正确函数是一条直线，但是一个巨大的神经网络可能会用一些疯狂的复杂函数完美地拟合这些点。添加新点时，这条线会给出更好的分类，因为神经网络正在尝试如此紧密地拟合您的训练数据。如果您过度拟合，我会说首先要看的是您的神经网络的复杂性。