批标准化 (BN) 后使用 Leaky ReLu 有用吗答案

【问题标题】：Is use of Leaky ReLu after Batch Normalization (BN) is useful批标准化 (BN) 后使用 Leaky ReLu 有用吗
【发布时间】：2019-01-30 22:18:35
【问题描述】：

在我使用的 CNN 网络中，我在 BN 层之后使用 Leaky ReLu。 Leaky ReLu 通过为负值添加 f(y)=ay 来解决垂死的 ReLu 问题。 BN 引入了零均值和单位方差。那么BN是否删除了负面部分，即这是否将所有值转换为0到1的比例？基于此，将仅选择 Leaky ReLu。因为如果 BN 去掉负数部分，那么 Leaky relu 的使用将与 relu 相同。我正在使用 keras。

【问题讨论】：

标签： machine-learning keras deep-learning

【解决方案1】：

此外，为了补充主角的答案，BN 实际上学习了仿射变换，即，它将输入变换为具有 alpha 的平均值（不一定为 0）和 beta 的方差（不一定为 1），其中 alpha 和beta 是 BN 层的可学习参数。

【讨论】：

【解决方案2】：

BN 层尝试通过减去对输入的期望来使其输出为零均值。所以我们可以预期它的一些输出值为负数。

所以 BN 层之后的 LeakyReLU 仍然会收到负值。

【讨论】：