损失函数是用来衡量模型的预测值和真实值之间的不一致程度,它是一个非负的真实值,值越小代表模型的性能就越好.
在分类算法中,损失函数常表现为:损失项+正则项. 式子表现形式如下:
其中,前一项表示损失项, 后一项表示正则项(惩罚项).
损失项的表现形式主要有0-1损失, log损失, Hinge损失, 指数损失, 感知损失.
1, 0-1损失主要是用来在分类问题中, 也被称为Gold standard .主要是用来记录分类错误的次数的:
以上函数等价于:1/2(1-sign(m))
0-1损失并不依赖于m值的大小,而是取决于m的正负号. 0-1损失是一个非凸函数.
2. log函数(逻辑回归函数)
logistic回归的损失函数就是对数损失函数,其假设样本服从0-1分布(伯努利分布),然后求得满足此分布的似然函数,然后用对数求极值. 逻辑回归中把极大化作为一种思想,从而推导出它的经验风险函数是最小化负的似然函数(min(-F(y,f(x))).
其中,log损失的标准形式为L(Y,p(Y|X))=-logp(Y|X)L(Y,p(Y|X))=-logp(Y|X),通常是先取对数再找极值点.
损失函数L(Y,p(y|x))表示:样本ｘ在分类为Y的情况下,使得概率P(Y|X)达到最大值,也就是通过已知的数据样本分布找到使得这种分布最大的参数.
但是公式我不会推到?????(后面完善一下)
3. 交叉熵损失(cross entropy)
交叉熵损失又叫做softmax损失函数,是目前ＣＮＮ中比较常用的一个函数．
该损失函数的表达式为：