参考文献：详解深度学习中的Normalization，BN/LN/WN
https://zhuanlan.zhihu.com/p/33173246
3主流 Normalization 方法梳理
在上一节中，我们提炼了 Normalization 的通用公式：
对照于这一公式，我们来梳理主流的四种规范化方法。
3.1 Batch Normalization —— 纵向规范化
3.2 Layer Normalization —— 横向规范化
3.3 Weight Normalization —— 参数规范化
3.4 Cosine Normalization —— 余弦规范化