过拟合、欠拟合及其解决⽅案
L2范数正则化也就是权重衰减是用来应对过拟合的。
梯度消失、梯度爆炸
有关数值稳定性的典型问题。
三个偏移：协变量、标签、概念。
卷积神经网络基础
假如你用全连接层处理一张256×256的彩色（RGB）图像，输出包含1000个神经元，在使用偏置的情况下，参数数量是：
32562561000+1000=196609000
假如你用全连接层处理一张256×256的彩色（RGB）图像，卷积核的高宽是3×3，输出包含10个通道，在使用偏置的情况下，这个卷积层共有多少个参数：
10333+10=280