ReLU 什么时候会杀死神经元？

Question

我对即将消失的 ReLU 问题感到困惑。 ReLU 只会在前向传播期间杀死神经元？还是在向后传球期间？

Answer 1

在开始时随机初始化和反向传播期间梯度消失的组合可能会导致这样一种状态，即在前向传播期间某些单元永远不会被激活（或者我们可以说某些神经元永远不会触发）。此外，下一个反向传递可能不会有足够大的梯度来改变状态。