神经网络输入排列和归一化依赖答案

【问题标题】：Neural Network Input Arrangement and Normalization Dependencies神经网络输入排列和归一化依赖
【发布时间】：2014-07-07 00:05:35
【问题描述】：

不确定这是一个还是两个问题，虽然我认为这两个问题的答案都是“不，这不会产生影响”，但你和我之前都对其他愚蠢的问题大错特错。

1. 神经网络输入是否依赖于它们彼此的排列？例如，如果我有 7 个代表星期几的神经元，而不是以 SMTWRFS 的常识方式排列它们，如果在我的训练、验证和测试集中始终如一地进行，我是否可以将它们排列为 MFRSSTW？或者这会以某种方式影响机器根据我们（人类、社会等）一周中的日子的典型安排来学习模式的能力吗？这只是一个例子！但它展示了我的问题的一个极端例子。显然，这对于人类来说更难理解，所以我不会这样做，除非从数据收集的角度来看这是有意义的或由于其他一些限制。

*我相信这个问题的答案是否定的，因为所有神经元都是完全互连的，并且突触权重会调整以适应出现的模式，无论它们相对于彼此的位置如何。

2a。输入归一化是相互依赖的，还是只要始终如一地进行，它们是否可以单独归一化？例如，输入 1-8 从 (0, 200) -> (-1, 1) 归一化，输入 8-10 从 (0, 100000) -> (-1, 1) 归一化，然后一起用于学习/计算。

2a。输出可以非规范化独立于输入吗？与上面相同的示例，输入 1-8 从 (0, 200) -> (-1, 1) 归一化，输入 8-10 从 (0, 100000) -> (-1, 1) 归一化，但输出归一化从 (-1, 1) -> (0, 5000)？

*我认为，只要在呈现给网络时始终如一地进行规范化和非规范化，这在任何一种情况下都不会产生影响。

【问题讨论】：

标签： machine-learning artificial-intelligence neural-network

【解决方案1】：

正如您所怀疑的，人工神经网络（至少在广泛使用的多层感知器中）的输入可以任意排列。预测/分类结果与输入的排列无关。
归一化阶段的目标是所有变量的均值应该接近于零，它们的方差应该相似，通常接近 1。因此，正如您所指出的，每个变量必须独立地进行归一化.类似的情况也发生在输出上。

从理论的角度来看，归一化不是必需的，但是，在人工神经网络的实际应用中，这是一个重要的步骤。这个和其他关于神经网络的实用技巧可以在LeCun's paper找到。

【讨论】：