TensorFlow学习（四）代价函数、拟合、优化器

一、二次代价函数、交叉熵代价函数、对数似然代价函数

（一）二次代价函数

相当于把误差求平方累加再除以样本总数，求平均

（二）交叉熵代价函数

（三）对数似然代价函数

二、拟合
欠拟合、正拟合、过拟合
解决过拟合的方法
①增加数据集②正则化方法

③Dropout
训练的时候只用部分神经元来进行训练

三、优化器
SGD、Momentum、NAG、Adagrad、Adadelta、Rmsprop