神经网络和big-o

Question

我必须完成以下作业。我失去了这个问题的所有分数，因为我什至不知道从哪里开始。坦率地说，我们没有学到这些。我没有收到有关此作业的反馈，但我真的很想学习如何解决这些问题。有人可以让我知道从哪里开始吗？我非常沮丧，因为我没有得到教授的帮助。我想做的就是学习一些东西。我已经用谷歌搜索了这个问题，但找不到任何有用的东西。

假设我有一个包含 m 个数据点的训练集，具有 n 个特征。进一步假设我使用具有 h 个隐藏节点的神经网络来学习这些数据，并且在反向传播终止之前需要 e 个 epoch。用大 O 表示法回答以下每个问题。 （例如 O(m^2n^5/h)。

一个。假设数据集中的每个特征对应一个输入节点，存储这个神经网络需要多少内存？ 湾。训练这样一个神经网络分类器需要多少时间？ C。训练完成后需要多少时间来确定一个测试点的类别？

Answer 1

让我提供一些基本指导，以便您开始。你应该能够完成作业。

假设我们有一个带有n 输入的神经网络、一个h 神经元和m 输出的隐藏层。我们总共有这么多神经元：

nbNeurons = h + m.

现在，神经元占用的内存量为O(w)，其中w 是神经元接收的输入数量。原因是一个神经元每个输入有一个权重加上一些额外的信息，例如bias、learning rate、output、error。由于所有这些都以一个常数为界，因此一个神经元所需的内存与权重（即输入）的数量成正比。

隐藏层有h 个神经元，每个神经元有n 个输入，所以它需要h*O(n) 个内存单元。输出层有m 神经元，每个神经元有h 输入，因此m*O(h)。因此

memory = h*O(n) + m*O(h) = O(h*n) + O(m*h) = O((n+m)*h)

为神经元提供k 输入需要k 乘法加上k+1 加法+1 sigmoid（或类似）函数的评估。这显然与k 成正比，因此与O(k) 成正比。

喂给我们的网络需要喂h隐藏神经元和n输入，因此h*O(n)加上喂m输出神经元h每个输入，m*O(h)。所以，

feed time = h*O(n) + m*O(h) = O((n+m)*h)

现在，继续使用相同的推理来计算在使用一个训练数据样本训练网络时将错误传播回去所需的操作数。您将向网络提供样本，然后调整每个神经元的权重和偏差。最后，将此数量乘以 epoch 数（因为您将多次重复同一组操作）。