【发布时间】:2017-05-27 07:07:00
【问题描述】:
我相信这有一个简单的答案!我要求提高我的理解。
图表:修改:CS231N Back Propagation
如果应用该隐规则来获得 Y 的 Delta,则梯度将为:dy = -4 根据图表。
应用链式规则表示法:df/dy = df/dq * dq/dy
数字:
double x = -2;
double y = 5;
double q = 3;
double z = -4;
double f = -12;
double df = 1;
double dz = 3;
double dq = -4;
double dy = df * dq;
double dx = df * dq;
其中:df = df/df = 1 如上所示,dq = df/dq = -4 如上所示。因此:1(df) * -4(dq) = -4(dy)。还是我完全搞错了?
数值实际上来自哪里,在图中的哪里?这是一个仅梯度数字链还是我们从其他输入值派生?我在这里问的原因是因为在第 48 页上,有一个稍微令人困惑的代码示例:
我将 (/) 符号 df/dy 视为一个除法,我认为这是错误的吗? df/dy = df/dq * dq/dy = 1/-4 * -4/-4 = 0.25 - 这里一个数字比另一个数字的目的是什么?
df/dy = dy 是不是同一个东西,象征df 的dy,意思是时光倒流的一个梯度?
抱歉,我有些困惑。
【问题讨论】:
标签: backpropagation