权重衰减和输入归一化答案

【问题标题】：Weight Decay and input normalization权重衰减和输入归一化
【发布时间】：2018-05-22 10:08:55
【问题描述】：

我是 tensorflow 的新手，发现示例 CNN 程序正在使用权重衰减来避免巨大的权重，而它们并不总是首先对输入进行归一化。

权重衰减与输入标准化的目的是否相同？

它们有什么区别？

【问题讨论】：

【解决方案1】：

权重衰减是一种用于控制模型过拟合的正则化。权重衰减通常称为 L2 归一化。权重衰减在线性回归、逻辑回归等浅层学习算法中更常见。在深度学习（例如：使用 CNN）中，权重衰减并不常见。实际上使用了其他正则化方法，例如 dropout。

输入标准化另一方面是指将输入数据归零并限制输入数据的范围。此过程有助于快速收敛数据。

对于如何应用这两个概念没有通用的固定规则。因此，您可能已经看到这两个概念的一些变体。

【讨论】：

【解决方案2】：

权重衰减是一种正则化技术，例如 L2 正则化，它导致梯度下降在每次迭代中缩小权重

【讨论】：