吴恩达深度学习 —— 3.10 直观理解反向传播

$z^{[1]}=W^{[1]}x+b^{[1]}$z[1]=W[1]x+b[1]$a^{[1]}=\sigma(z^{[1]})$a[1]=σ(z[1])$z^{[2]}=W^{[2]}_{a^{[1]}}+b^{[2]}$z[2]=Wa[1][2]​+b[2]$a^{[2]}=\sigma (z^{[2]})$a[2]=σ(z[2])$Loss(a^{[2]},y)$Loss(a[2],y)这里的损失函数使用的是逻辑回归的损失函数。$da^{[2]}=\frac{dLoss}{da^{[2]}}=-\frac{y}{a^{[2]}}+\frac{1-y}{1-a^{[2]}}$da[2]=da[2]dLoss​=−a[2]y​+1−a[2]1−y​$\frac{da^{[2]}}{dz^{[2]}}=a^{[2]}(1-a^{[2]})$dz[2]da[2]​=a[2](1−a[2])$dz^{[2]}=\frac{dLoss}{dz^{[2]}}=\frac{dLoss}{da^{[2]}}*\frac{da^{[2]}}{dz^{[2]}}=a^{[2]}-y$dz[2]=dz[2]dLoss​=da[2]dLoss​∗dz[2]da[2]​=a[2]−y$dW^{[2]}=dz^{[2]}a^{[1].T}=(a^{[2]}-y)a^{[1].T}$dW[2]=dz[2]a[1].T=(a[2]−y)a[1].T$db^{[2]}=dz^{[2]}=(a^{[2]}-y)$db[2]=dz[2]=(a[2]−y)这就完成了反向传播的一半。$\frac{dz^{(2)}}{da^{[1]}}=W^{[2].T}$da[1]dz(2)​=W[2].T$\frac{da^{[1]}}{dz^{[1]}}=g^{'[1]}(z^{[1]})$dz[1]da[1]​=g′[1](z[1])$dz^{[1]}=W^{[2].T}dz^{[2]}g^{'[1]}(z^{[1]})$dz[1]=W[2].Tdz[2]g′[1](z[1])$dW^{[1]}=dz^{[1]}.x^{.T}$dW[1]=dz[1].x.T$db^{[1]}=dz^{[1]}$db[1]=dz[1]通过推导我们得到六个关键方程，如下图所示

通过向量化表示，可以表示为