深度学习笔记(7.DNN梯度检验)

前言

梯度检验反向传播求导是否正确，直接用之前实现的dnn和课件给的程序检验。
程序地址：https://github.com/ConstellationBJUT/Coursera-DL-Study-Notes

主要公式和实现

计算每个参数的近似梯度，最后求欧氏距离，判断是否计算正确。

涉及程序文件

dnn_gradient_check.py

结论

课件给的结果
（1）求导公式写错结果：应该都为1
There is a mistake in the backward propagation! difference = 0.2850931567761624

（2）修正后还是大了一点：
There is a mistake in the backward propagation! difference = 1.1890913023330276e-07
（3）自测实验结果，挺好的：
The gradient is correct!
3.137502547018782e-09