为什么我们需要在 dropout 期间保留“预期输出”？答案

【问题标题】：Why do we need to preseve the "expected output" during dropout?为什么我们需要在 dropout 期间保留“预期输出”？
【发布时间】：2020-06-22 01:16:36
【问题描述】：

我很困惑为什么我们在执行 dropout 正则化时需要保留预期输出的值。为什么在训练和测试阶段 layer l 的输出均值不同很重要？ dropout 后不为零的权重只是其自身的一个稍微缩放的值，它如何影响神经网络的决策能力？

根据question 下的评论，如果不缩放，输出层 sigmoid 可能会将值解释为 0 而不是 1。但是无论如何丢弃的权重都没有贡献。

请稍作说明，我无法看到这个概念的大局。

【问题讨论】：

【解决方案1】：

找到了这个问题的答案，感谢 Andrew Ng 的讲座视频。我们基本上保留了应用 dropout 的激活的预期输出值，这样它就不会影响成本的结果，并且它与没有 dropout 的情况下保持相同的预期值。因此，我们缩放值并分散权重。

【讨论】：