【问题标题】:Are the following python code snippets equivalent?以下 python 代码片段是否等效?
【发布时间】:2021-11-06 14:49:30
【问题描述】:

以下与在 python 中实现神经网络有关:

def update_mini_batch(self, mini_batch):

    nabla_b = [np.zeros(b.shape) for b in self.biases]
    nabla_w = [np.zeros(w.shape) for w in self.weights]

    for x, y in mini_batch:
        delta_nabla_b, delta_nabla_w = self.backprop(x, y)
        nabla_b = [nb+dnb for nb, dnb in zip(nabla_b, delta_nabla_b)]  
        nabla_w = [nw+dnw for nw, dnw in zip(nabla_w, delta_nabla_w)]

在前两行中,它用零初始化了两个张量。 然后在下一个 for 循环中,它通过将其中的每个元素(为零)添加到另一个类似张量中的另一个元素来更新它们,这是由于 backprop 函数。

对我来说这应该相当于

    for x, y in mini_batch:
        nabla_b, nabla_w = self.backprop(x, y)

但我不能确定。两者都运行成功,代码依赖随机性。

参考:https://github.com/mnielsen/neural-networks-and-deep-learning

【问题讨论】:

    标签: python numpy deep-learning neural-network


    【解决方案1】:

    它们不等价。排名靠前的将在 minibatch 上对 nablas 进行求和。底部的只会保留最后一个样本的值。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2012-10-06
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多