1.神经网络视图

吴恩达 深度学习 神经网络和深度学习 浅层神经网络

                                                            输出层X-->N层隐藏层-->输出层-->Y

*利用方括号内数字表示某一层

 

2.正向传播

吴恩达 深度学习 神经网络和深度学习 浅层神经网络

*继续应用向量化思想来解决问题

 

3. **函数的选择

吴恩达 深度学习 神经网络和深度学习 浅层神经网络

解决二元分类问题时,常用sigmoid

一般应用Relu或带泄露的Relu更方便,以应对梯度下降的缓慢地带

 

4.**函数的导数

sigmoid的导数=a(1-a)

吴恩达 深度学习 神经网络和深度学习 浅层神经网络

tanh的导数=1-a^2

吴恩达 深度学习 神经网络和深度学习 浅层神经网络                           

Relu

  吴恩达 深度学习 神经网络和深度学习 浅层神经网络

 

5. 反向传播

             吴恩达 深度学习 神经网络和深度学习 浅层神经网络 

吴恩达 深度学习 神经网络和深度学习 浅层神经网络

W,b在初始化时,W尽量使用随机数np.random.randn((a,b))

                               

 

相关文章: