【问题标题】:Which quantity is conserved in softmax (Wx+b) during optimization?在优化过程中,softmax (Wx+b) 中保留了哪些量?
【发布时间】:2022-08-08 03:24:00
【问题描述】:

守恒是指在训练期间不改变的参数的函数。类似于时间上的能量守恒和动量守恒。

    标签: machine-learning deep-learning neural-network conservation-laws


    【解决方案1】:

    这是我试图证明这一点的尝试:https://youtu.be/5mR8FC0RW3g

    另外,从这篇论文中知道,与 Hessian 类似的内积是守恒的:https://arxiv.org/abs/2012.04728

    想知道是否还有更多?

    【讨论】:

      猜你喜欢
      • 2017-06-10
      • 2015-07-09
      • 2012-12-05
      • 2011-04-05
      • 2019-07-12
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2010-10-26
      相关资源
      最近更新 更多