为什么在 maxpooling 之前使用 relu？ [复制]

Question

在这个pytorch神经网络教程tutorial link

我很困惑为什么我们需要在最大池化之前使用 relu。
图像中的像素值不是已经是正数了吗？
我不知道为什么需要 relu max(0, x)。
有人可以就这个问题给我一些建议吗？

 class Net(nn.Module):
  ...(init function)

   def forward(self, x):
     x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2)) # Max pooling over a (2, 2) window

Answer 1

神经网络的权重可以为负，因此您可以进行负激活，并且通过使用relu 函数，您只激活了用于该目的的节点。