目标函数 objective function 简介

基本概念

• loss function（损失函数）: 一个样本的误差
• cost function（代价函数）: 整个训练集上的所有样本误差的平均
• objective function (目标函数)：代价函数+正则化项
• risk function（风险函数）：损失函数的期望
• empirical risk（经验风险）：f(x)关于训练集的平均损失。
• regularization（正则化）：\(J(f)\)，用来度量模型的复杂度。

目标函数和损失函数的区别

• 损失函数：拟合越好，损失越小。(过拟合)
• 目标函数：优化的目标，代价函数+正则化项