神经网络中固定每层权重方差的作用

控制输入​​，防止数值的剧烈变化

方差的相关性质

两个随机变量相乘后的方差

经过变化得到

• 在这个等式中，x输入可以近似的看成是一个不变的常数，而D(y)又完全由权重初始化稳定控制为一个常数，所以输出的方差就完全决定于权重的平均数，优化过程中平均数一般变化比较稳定，所以输出值方差稳定。
• 如果不控制权重的方差，在网络的不断传播中，一方面可能导致方差不断增大，输出值不断增大，导致产生内存无法存储大叔使得loss变成Nan，而另外一方面方差不断减小，输出值小，小到无法产生有效的梯度。