多类分类神经网络......我很困惑

Question

也许是大词，也许是所有的数字和方程式。让我从我所知道的和我正在尝试做的事情开始。

我知道在神经网络中我有一个节点将信息发送到另一个节点等等。我知道在多类分类神经网络中，我正在尝试优化具有特征的一个或多个节点，并为此进行训练。现在无论我的理解是否正确......让我们继续

我要做的是了解我要回答的课程的问题。这个问题只是要求我为具有至少 10^5 个特征的多类分类神经网络设计一个算法，然后我需要对其进行至少 10^9 次的训练。

这是我目前解决这个问题的思考过程。这在理论上非常简单，我将把它缩小到最少的节点以进行简单的解释。首先我有一个输入节点，我的目标是到达一个输出节点。单个输入节点具有大量特征，然后我将所有这 10^5 一些特征放入 10^9 列，然后将它们全部发送回输出节点。看起来像这样：

这个算法有什么问题吗？ 我的建议真的有效吗？ 我是否正确理解这一点？ 我不确定它应该像我描述的那样简单，请解释我的错误以及如果我错了我没有得到什么。

Answer 1

通常神经网络是这样设计的。节点被分成几层。第一层是输入层，每个特征有一个输入节点。最后一层是输出层，每个要学习的类都有一个节点。在最简单的情况下，只有中间的一层，称为隐藏层。如果你有多个隐藏层，它们被称为深度神经网络。

这是classifying digits 的示例神经网络：

当您训练神经网络时，您首先通过向前遍历网络对样本进行分类，然后再次向后遍历网络并修改权重以将结果稍微向正确的方向移动。这称为backpropagation。

您可能应该查看一些示例和教程以更熟悉这些概念。以This 为例。