【发布时间】:2022-08-08 03:24:00
【问题描述】:
守恒是指在训练期间不改变的参数的函数。类似于时间上的能量守恒和动量守恒。
标签: machine-learning deep-learning neural-network conservation-laws
守恒是指在训练期间不改变的参数的函数。类似于时间上的能量守恒和动量守恒。
标签: machine-learning deep-learning neural-network conservation-laws
这是我试图证明这一点的尝试:https://youtu.be/5mR8FC0RW3g
另外,从这篇论文中知道,与 Hessian 类似的内积是守恒的:https://arxiv.org/abs/2012.04728
想知道是否还有更多?
【讨论】: