反向传播
1、实质就是一个利用链式法则求梯度的过程，在实际中，参数的计算会及其复杂，此时如果利用公式来计算梯度非常麻烦，所以可以利用反向传播，所谓的反向传播，其实可以利用计算图来解释，当进行前向传播时，我们将每一步的结果进行存储，进行反向传播时，我们只需要利用链式法则计算每一步的梯度即可，这样可以利用原来存储的前向传播的值，一直将所有的梯度计算出来。
2、梯度与权值矩阵的大小相同，这是因为梯度本身就是权值对结果的贡献的量化。
卷积
1、卷积层与全连接层的不同在于它能够保存图片的结构，而不是展成一个向量。