sigmoid函数只能分两类,而softmax能分多类,softmax是sigmoid的扩展

以下是Softmax函数的定义:

softmax解释

这个函数与hard max(即大家通常用的max函数)有相似之处,在其中某个x显著大于其他x时,返回值接近这个x,即max

下图为softmax(x, 0)和hardmax(x,0)的图形:

softmax解释softmax解释

差别就在于softmax是连续可导的,消除了拐点,这个特性在机器学习的梯度下降法等地方非常必要。这也是“soft”的由来


进一步延伸,题主所问的softmax**函数,实质是soft arg max函数,它的特性也是很soft的,例如:

hard arg max([1,0])=[1,0],而 soft arg max([1,0])=[exp(1),exp(0)]/(exp(1)+exp(0)) = [0.73, 0.27],可解释为各类的概率

sigmoid函数只能分两类,而softmax能分多类,softmax是sigmoid的扩展

相关文章:

  • 2021-10-15
  • 2021-07-09
  • 2022-02-03
  • 2021-07-25
  • 2021-09-11
  • 2021-07-22
  • 2021-10-30
猜你喜欢
  • 2021-11-01
  • 2021-10-25
  • 2021-06-23
  • 2021-06-04
  • 2021-07-04
  • 2021-06-26
  • 2021-09-10
相关资源
相似解决方案