Tensorflow 模型低估了 Dropout 的值

Question

我在密集的 NN 模型中将 dropout 作为正则化方法实施时遇到问题。似乎添加大于 0 的 dropout 值只会缩小预测值，在某种程度上让我认为在将单个权重设置为零后没有正确考虑某些事情。我确定我执行不正确，但我似乎无法弄清楚是什么。

构建此模型的代码直接取自 tensorflow 页面 (https://www.tensorflow.org/tutorials/keras/overfit_and_underfit)，但无论我使用什么架构构建模型都会出现。

model = tf.keras.Sequential([
        layers.Dense(512, activation='relu', input_shape=[len(X_train[0])]),
        layers.Dropout(0.5),
        layers.Dense(512, activation='relu'),
        layers.Dropout(0.5),
        layers.Dense(512, activation='relu'),
        layers.Dropout(0.5),
        layers.Dense(512, activation='relu'),
        layers.Dropout(0.5),
        layers.Dense(1)
    ])

任何帮助将不胜感激！

Answer 1

在添加 Dropout 时降低 training set 的准确度是完全正常的。您通常这样做是为了提高未见数据（测试集）的准确性，从而提高泛化属性。

但是，请尝试将 Dropout 率降低到 0.10 或 0.20。你会得到更好的结果。此外，除非您处理数亿个示例，否则请尝试减少神经网络中的神经元，例如从 512 减少到 128。对于复杂的神经网络，反向传播梯度不会达到最佳水平。对于过于简单的神经网络，梯度会饱和并且无法学习。

另外一点，您可能希望将pd.get_dummies 应用于您的输出（Y）并将最后一层增加到Dense(2) 并规范化输入数据。