损失函数

指数损失函数(Adaboost)

平方差损失函数:yolo

交叉熵损失函数:softmaxloss

线性分类:y=w0x0+w1x1+…+wnxn=w转置x

**函数sigmoid函数:从头理解softmax,笔记(作用是为了引入非线性因素,提高非线性分类能力)。

得到Logistics假设函数:从头理解softmax,笔记,非线性二分类。

对于输入x分类结果为类别1和类别0的概率分别为:

P(y = 1 | x;θ)= hθ(x)

P(y = 0 | x;θ)= 1−hθ(x)

通过极大似然估计推导出损失函数:

从头理解softmax,笔记

Softmax是将logistics回归的二分类问题变为K分类问题,

Softmax每个类别的假设函数组成的总体假设函数:

从头理解softmax,笔记

每一个样本估计其所属的类别的概率(softmax score)为:

从头理解softmax,笔记

极大似然估计推导出损失函数:

从头理解softmax,笔记

使用梯度下降法求出最优的一组参数。

Softmax,在实际应用中,为了使算法实现更简单清楚,往往保留所有参数 从头理解softmax,笔记,而不任意地将某一参数设置为 0。但此时我们需要对代价函数做一个改动:加入权重衰减。权重衰减可以解决 softmax 回归的参数冗余所带来的数值问题。

损失函数为:

从头理解softmax,笔记

使用梯度下降法求出最优的一组参数。


相关文章:

  • 2021-06-15
  • 2021-08-02
  • 2021-11-02
  • 2021-10-16
  • 2021-11-19
猜你喜欢
  • 2021-10-02
  • 2021-07-04
  • 2021-09-10
  • 2021-08-09
  • 2021-06-04
  • 2022-02-22
相关资源
相似解决方案