常见的损失函数的类型

• 损失函数：度量模型预测值与真实值之间的差异
• 对于回归问题：令残差r=f(X)−y$r=f(X)-y$
  
  • L2损失：L2(r)=12r2$L_2(r)=\frac{1}{2}{r}^2$
  • 
  • L1损失：L1(r)=|r|$L_1(r)=|r|$
  • 
  • Huber损失：Lδ(r)={12r2,δ|r|−12δ2,if |r|<=δ if |r|>=δ $L_{\delta }(r)=\{\begin{array}{ll}\frac{1}{2}{r}^2,& \text{if }|r|<=\delta \\ \delta |r|-\frac{1}{2}{\delta }^2,& \text{if }|r|>=\delta \end{array}$
    
• 对于分类问题：
  
  • 0-1损失：l0/1（y,f(X)）={10 yf(X)<0  otherewise $l_{0/1}（y,f(X)）=\{\begin{array}{ll}1& yf(X)<0\\ 0& otherewise\end{array}$
  • Logistic损失：亦称负log似然损失/logloss
  • llog(y,f(x))=log(1+exp(−yf(x)))$$l_{log}(y,f(x))=log(1+exp(-yf(x)))$$
  • 指数损失：
  • 合页损失：