次梯度的总和或平均值？，小批量 SGD keras

Question

我已经搜索了很多关于在使用多层感知器时如何计算 Keras 中小批量的梯度，但似乎找不到答案。我想知道每个小批量的梯度平均值是否用于更新权重和偏差，或者它是否是梯度的总和？

如果有人知道答案并可以提供帮助，我将不胜感激，如果可能的话，请告诉我在哪里可以找到这些信息。

Answer 1

我认为说损失的平均值或损失的总和是有意义的，而不是梯度的平均值/总和。 而且我认为使用损失的平均值来计算梯度总是安全的。