通过均值/标准差对神经网络输入进行归一化：怎么做？答案

【问题标题】：Neural network input normalization by mean / standart deviation : how to do it?通过均值/标准差对神经网络输入进行归一化：怎么做？
【发布时间】：2014-10-11 20:19:32
【问题描述】：

我对如何使用（高斯归一化？）均值和标准偏差归一化技术对回归神经网络的输入/输出进行归一化感到很困惑：

最重要的是，我从哪些数据中标准化？

让我解释一下：

假设我在 2 个输入神经元、2 个隐藏神经元、1 个输出神经元上有这些训练数据：

[input1 : 10][input2: 5]
[input1:  30][input2: 255]

我是按列（神经元）还是从所有输入数据进行归一化？是输入神经元 1 的均值 =

(10+30)/2

或

(10+30+5+255)/4 ?

使用典型的 XOR 示例（在训练数据中只有 1 和 0）尝试两种奇怪的结果，在规范化时我实际上失去了很大的准确性。

【问题讨论】：

想象你在input1 上有汽车的价格，在input2 上有它的颜色（以某种方式编码）——显然添加这两个没有任何意义。无论如何，这是题外话。请尝试 CrossValidated 或 ComputerScience。

标签： neural-network normalization denormalization

【解决方案1】：

归一化是将输入数据的每个维度保持在一定范围内，因此通常应该在列中完成。标准化有几种方法。例如，线性归一化：它是最常见最简单的方法，通常在数据居中时使用。它由 (V-Vmin)/(Vmax-V) 计算。而高斯归一化是按(V-Vavg)/Std计算的。

【讨论】：

好的，非常感谢 :) 知道为什么对 XOR 数据使用标准化会降低准确性吗？
实际上异或数据中的每个维度都在同一范围内（其值为0或1），因此无需使用归一化。