Tensorflow - 数据邻接重要吗？ - MNIST 示例答案

【问题标题】：Tensorflow - Does data adjancency matter ? - MNIST exampleTensorflow - 数据邻接重要吗？ - MNIST 示例
【发布时间】：2016-02-16 03:25:55
【问题描述】：

我查看了MNIST example 并注意到当图像的数组被展平为 728 数组时，如果该数组是随机的，这有关系吗？我的意思是 NN 是否考虑了数据的邻接性，或者是否有一个输入节点放置输入编号（因此有 728 个节点）。

我要问的是，如果我像示例中那样使用展平的图像进行训练，我会得到相同的网络吗，就像我随机化 728 数据数组一样？

【问题讨论】：

是的，它考虑到了这一点，并且有所帮助。有些人对 MNIST 感到厌烦，并试图看看如果你不能使用数据布局，你能做多好。为此，他们将图像展平为随机顺序的一维数组（但每个图像的随机顺序相同），这样网络就不能利用任何预先确定的结构。搜索“permutation invariant MNIST”和“permutation invariant SVHN”

【解决方案1】：

您正在查看非常基础的教程，其重点是让您熟悉 TF 和一些重要的 ML 概念，这些概念将用于许多更难的模型。他们并没有尝试做任何困难的事情（事实上，准确度并不高于通过开箱即用的 SVM 实现的准确度）。如果您仔细阅读教程，他们会说：

我们如何展平数组并不重要，只要我们是图像之间保持一致。

和

扁平化数据会丢弃关于 2D 结构的信息图片。那不是很糟糕吗？好吧，最好的计算机视觉方法可以利用这个结构，我们将在后面的教程中。但简单的我们将在这里使用的方法，softmax 回归，不会。

您关于网络的问题：网络的拓扑相同，权重/偏差会不同。

还有一个convolutional neural network的例子考虑了数据的邻接性

【讨论】：

【解决方案2】：

取决于您正在查看的 mnist 示例。 convolutional.py 在图像上运行一个 5x5 的空间卷积窗口，它确实考虑了空间相关性。

使用简单权重矩阵的 MNIST 初学者示例：

W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))

没有。您可以置换点中的条目顺序而不更改任何内容，只要您以相同的方式置换所有输入。

（卷积方法在大多数图像识别应用中获胜是有原因的——空间局部性很有用。:)

【讨论】：