4.1 深层神经网络

这周的练习比较长,所以视频会短一些,有充足的时间做练习。
notation:
神经网络和深度学习第四周 深层神经网络

4.2 深层网络中的前向传播

前向传播:
神经网络和深度学习第四周 深层神经网络
用for循环遍历神经网络的每一层。debug代码的一个方法是用纸笔过一遍矩阵的维数,下一个视频讲这个。

4.3 核对矩阵的维数

对单个训练样本,z是竖的,z和a维度一样,x是竖的。
参数维度:
神经网络和深度学习第四周 深层神经网络
Z,A的维度:
神经网络和深度学习第四周 深层神经网络

4.4 为什么使用深层表示

这种从简单到复杂的金字塔状表示方法也可以应用在图像或者人脸识别以外的其他数据上,如处理音频,需要可视化音频,可能第一层会探测比较低层次的音频波形的一些特征,比如音调升高了/降低了/分辨白噪音/嘶嘶嘶声,然后把这些波形组合在一起,第二层就能去探测声音的基本单元(音位),第三层就可以组合起来识别单词,词组。也就是前几层探测简单的特征,后几层组合起来去探测更复杂的东西。
神经网络和深度学习第四周 深层神经网络
另一种解释为什么深度学习有用的理论是电路理论:
神经网络和深度学习第四周 深层神经网络

4.5 搭建深层神经网络块

catch缓存 Z[i]
一次迭代的过程:
神经网络和深度学习第四周 深层神经网络

4.6 前向和反向传播

神经网络和深度学习第四周 深层神经网络

神经网络和深度学习第四周 深层神经网络
神经网络和深度学习第四周 深层神经网络
神经网络和深度学习第四周 深层神经网络

4.7 参数 VS 超参数

超参数之所以叫超参数是因为他们最终决定了参数。
神经网络和深度学习第四周 深层神经网络
深度神经网络的超参数确实有很多选择,新手最好还是勤于尝试,在后面的课程也会给出更多建议。其实最佳超参数也不是一成不变的。
神经网络和深度学习第四周 深层神经网络

4.8 这和大脑有什么关系?

神经网络过度简化了人脑的能力,现在没有人可以解释人脑的神经元是如何工作的,所以不应该拿神经网络和人脑做类比呦。

相关文章: