神经网络：输入层是否由神经元组成？答案

【问题标题】：Neural Networks: Does the input layer consist of neurons?神经网络：输入层是否由神经元组成？
【发布时间】：2015-04-02 00:48:22
【问题描述】：

我目前正在研究神经网络理论，我发现它到处都是由以下几层组成的：

我看到一些图形描述将输入层显示为网络中的真实节点，而另一些则将该层显示为值的向量 [x1, x2, ... xn]

什么是正确的结构？

“输入层”是真正的神经元层吗？或者这只是抽象地命名为层，而它实际上只是输入向量？

添加我在网上找到的矛盾和令人困惑的照片：

这里看起来输入层由神经元组成：

这里看起来输入层只是一个输入向量：

【问题讨论】：

如果你有兴趣 - 在下面的库中，没有真正的输入层。网络的输入数量被分配为第一个“隐藏”层中每个神经元的输入数量。但是，输出的数量是要在输出层中创建的神经元的数量。 IE。输出层是真正的神经元层。这是合乎逻辑的，对于神经元来说，输入的数量是动态的，而输出的数量固定为只有一个输出。图书馆：sourceforge.net/projects/c-c-neural-networks
"对于一个神经元，输入的数量是动态的，而输出的数量是固定的，只有一个输出" ==> 因此输入的数量可以在第一个隐藏层中定义- 网络不必包含真正的输入层。但它确实必须包含一个真正的输出层。用 x 个神经元创建一个真正的输入层听起来也不自然，其中每个神经元由 x 个输入组成。用 1 个输入创建 x 个神经元，每个神经元听起来对我来说很有趣

【解决方案1】：

让我用一些数学符号来回答你的问题，这些符号比随机图像更容易理解。首先，记住感知器。

感知器的任务是找到一个决策函数，它将给定集合中的一些点分为 n 个类。所以，对于一个函数

f : R^n -> R , f(X) = <W, X> + b

其中 W 是权重向量，X 是点向量。例如，如果您有一条由公式 3x + y = 0 定义的线，那么 W 是 (3,1)，X 是 (x,y)。

神经网络可以被认为是一个图，其中图的每个顶点都是一个简单的感知器——也就是说，网络中的每个节点只不过是一个函数，它接收一些值并输出一个新值，它可以然后用于下一个节点。在您的第二张图片中，这将是两个隐藏层。

那么这些节点需要什么作为输入？一组 W 和 Xs - 权重和点向量。在您的图像中，由x0, x1, .. xn 和w0, w1, .. wn 表示。

最终，我们可以得出结论，神经网络需要发挥作用的是一组权重和点的输入向量。

我对您的总体建议是为您的学习选择一个来源并坚持下去，而不是在互联网上浏览相互冲突的图像。

【讨论】：

+1 进行解释。就个人而言，我不同意你的最后一段。我认为从多个来源获取信息是个好主意。如果您只阅读过一位作者对某个主题的看法，那么您就不能真正声称对某个主题完全满意。有时您比其他来源更了解某些来源，因此我发现在来源之间来回切换并尝试在它们之间建立联系是件好事。
@IVlad - 感谢您的反馈。澄清一下，我的评论仅限于 OP 的观点，即在互联网上从不同来源查看相同概念的图像。不同的作者用不同的文本来解释他们的图像，当你在谷歌搜索“神经网络”时，并不是所有的都可以访问。我并不是说它应该仅一个来源 - 您可以阅读 10 本书，但在它们之间混合文本/图像总是有问题的。也许我可以更好地传达它。

【解决方案2】：

“输入层”是真正的神经元层吗？或者这只是抽象地命名为层，而它实际上只是输入向量？

是的，两者都是 - 取决于抽象。在纸面上，网络具有输入神经元。在实现级别上，您必须组织这些数据（通常使用数组/向量），这就是您说输入向量的原因：

输入向量保存输入神经元值（代表输入层）。

如果您熟悉图论或图像处理的基础知识，原理相同。例如，您可以将图像称为矩阵（技术视图）或像素域（更抽象的视图）。

【讨论】：

是的，我很熟悉，我目前正在攻读计算机科学硕士学位。我如此困惑的原因是，当他们将输入层显示为神经元层时，它的神经元数量总是与输入向量的长度相同。谢谢你的回答！
不客气！我大致记得当我第一次遇到人工神经网络时，我也觉得很奇怪，每个人画它们的方式都不一样。但是，一旦您开始在实施级别上处理它们，就会变得很清楚。
输入层肯定不是中子层。它只是一个输入数组。这是可怕的命名。神经网络的第一层是隐藏层。或者只是将其称为第 1 层，因为“隐藏”也是一个愚蠢的术语。只是一个遗产。
@Luke 是的，它是深度学习之前的遗产，当时人工神经网络在计算神经科学（或至少模拟生物过程）的背景下更受欢迎，其中输入是（手工制作的）特征而不是原始特征数据。在这种情况下，输入也可以看作是一个神经元，因为它也持有一个高级表示。如今，我认为将其视为“系统输入”的 ML 观点更为常见。但归根结底，这里没有“正确”或“错误”之分，因为如果没有建模内容的初始上下文，回滚模型的抽象通常并不明确。