【问题标题】：How to calculate gradients in ResNet architecture?如何计算 ResNet 架构中的梯度？
【发布时间】：2018-04-17 10:00:00
【问题描述】：
我假设每一层的梯度都是 0.1。一个层可以通过累积梯度来计算绘制/堆栈网络的梯度
在 ResNet 中，梯度是通过跳跃连接传播的。那么，如何实现上图x的渐变呢？是0.1x0.1+0.1 还是0.1？
【问题讨论】：
标签：
machine-learning
neural-network
deep-learning
【解决方案1】：
在上图中添加了梯度计算。梯度delta_x 是输入梯度delta_y 与梯度delta_y 和delta_F 的乘积之和。
所以在你的例子中，它应该是 0.1x0.1x0.1+0.1。
但请注意，在实际计算delta_F 时，delta_y 乘以weight_1 并得到passed/blocked，具体取决于ReLu 是否处于活动状态，然后乘以weights_2。