1、二次代价函数（quadratic cost）
假设我们目标是收敛到1，A点为0.82离目标比较远，梯度比较大，权值调整比较大。B点为0.98，离目标比较近，梯度比较小，权值调整比较小，调整方案合理。
假设我们目标是收敛到0，A点为0.82离目标比较近，梯度比较大，权值调整比较大。B点为0.98，离目标比较远，梯度比较小，权值调整比较小，调整方案不合理。
2、交叉熵代价函数
因为二次代价函数在上述情况下调整不合理，所以提出了交叉熵代价函数。
3、对数释然代价函数(log-likelihood cost)