如何避免与 keras 过拟合？ [关闭]

Question

def build_model():
  model = keras.models.Sequential()

  model.add(keras.layers.Flatten(input_shape=[32,32,3]))
  keras.layers.Dropout(rate=0.2)

  model.add(keras.layers.Dense(500, activation="relu"))
  keras.layers.Dropout(rate=0.2)

  model.add(keras.layers.Dense(300, activation="relu"))
  keras.layers.Dropout(rate=0.2)  

  model.add(keras.layers.Dense(10, activation="softmax"))
  model.compile(loss='sparse_categorical_crossentropy', optimizer=keras.optimizers.SGD(), metrics=['accuracy'])
  return model 

keras_clf = keras.wrappers.scikit_learn.KerasClassifier(build_model)

def exponential_decay_fn(epoch): 
  return 0.05 * 0.1**(epoch / 20)

lr_scheduler = keras.callbacks.LearningRateScheduler(exponential_decay_fn)

history = keras_clf.fit(np.array(X_train_new), np.array(y_train_new), epochs=100,
                      validation_data=(np.array(X_validation), np.array(y_validation)),
                      callbacks=[keras.callbacks.EarlyStopping(patience=10),lr_scheduler])

我使用“退出”、“提前停止”和“lr 调度程序”。结果似乎过拟合，我尝试将隐藏层的 n_neurons 减少到 (300, 100)。结果欠拟合，训练集的准确率只有0.5左右。

有什么建议吗？

Answer 1

在处理这些问题时，我首先从一个简单的模型开始，比如只有几个密集层而没有很多节点。我运行模型并查看生成的训练准确性。建模的第一步是获得较高的训练精度。您可以在每层中添加更多层和或更多节点，直到获得令人满意的准确度。一旦实现，然后开始评估验证损失。如果经过一定数量的 epoch 后，训练损失继续减少，但验证损失开始呈上升趋势，那么您处于过度拟合状态。现在TREND这个词很重要。我无法从您的图表中判断您是否真的过度拟合，但在我看来，验证损失已达到其最小值，并且可能在最小值附近振荡。这是正常的，不是过拟合。如果你有一个可调节的 lr 回调来监控验证损失，或​​者一个学习率调度程序降低学习可能会让你达到更低的最小损失，但在某些时候（假设你运行了足够的时间）持续降低学习率不会让你到更低的最小损失。该模型已尽其所能。 现在，如果您真的过度拟合，您可以采取补救措施。一种是在降低训练准确率的情况下增加更多的 dropout。另一种是添加 L1 或 L2 正则化。相关文档是here.。如果您的训练准确度很高但验证准确度很差，这通常意味着您需要更多的训练样本，因为您拥有的样本不能完全代表数据概率分布。更多的训练数据总是更好。我注意到你有 10 节课。查看数据集的平衡。如果类有显着不同数量的样本，这可能会导致问题。有很多方法可以处理这个问题，比如在表示的类上过采样，在表示的类上过采样，或者两者的组合。一个简单的方法是使用 model.fit 中的 class_weight 参数。查看您的验证集，并确保它没有使用来自未充分表示的类的许多样本。始终最好从整个数据集中随机选择验证集。