【发布时间】：2020-05-06 04:58:19
【问题描述】：
残差块的权重矩阵是否已经设置为 0，或者我们需要将残差块的权重矩阵训练为接近 0？ 在什么情况下我们通过残差块的权重矩阵进行反向传播？我们什么时候跳过通过它们的反向传播来采取替代路线？
【问题讨论】：
标签： conv-neural-network deep-residual-networks
【发布时间】：2020-05-06 04:58:19
【问题描述】：
反向传播通过两条路径发生，如果你有一个 concat 层将其正上方的块 B 连接起来，而 A 层连接为残差，则 A 的梯度将来自 concat 层和层在 A 之后。这样的跳跃连接是为了对抗深层网络中消失的梯度（反向传播的梯度会随着它通过更多层而变得更小）
【讨论】：
-
那么，从两个层（正常连接和跳过连接）流出的梯度是否相加？还是只是串联？
-
拼接渐变没有意义。您可以通过this 问题获得更多信息，之前已经讨论过