深度神经网络
神经元（neuron）
权重和偏差
权重表示输入中各元素在决定输出结果中的重要性，偏差是输入的补充项，表示预测输出和标记（label）之间的偏移量。
神经网络结构
向量化
前向传播
从输入层（inout layer）通过隐藏层（hidder layer）一步步计算出输出层（output layer）的结果，神经网络中这样的计算方式被称为前向传播（forward propagation）。
损失函数
深层神经网络
多元分类
通过增加输出神经元的个数可以实现神经网络的多分类（multi-class classification）
反向传播
神经网络通过前向传播输出预测结果，通过反向传播更新网络参数。为了更好的理解反向传播，我们引入一个新的中间变量：
通过引入中间变量，神经网络的反向传播可以用四个重要公式来表示。