Tensorflow 中的多维梯度下降

Question

当梯度下降优化器应用于不是数字（大小为 1 的张量）而是向量（大小为 2、3、4 的一维张量的“损失”占位符时，Tensorflow 的真正作用是什么？ ，或更多）？

这就像对分量之和进行下降吗？

Answer 1

第二个问题的答案是“否”。

至于第二个：就像在一维情况下（例如 y = f(x), x in R），其中算法采用的方向由函数相对于其单个变量的导数定义，在多维情况下，“整体”方向由函数对 each 变量的导数定义。

这意味着您将在每个方向上采取的步长大小将由与该方向对应的变量的导数的值决定。

由于没有办法在 StackOverflow 中正确键入数学，所以我建议你看看这个 article，而不是乱用它。

Answer 2

Tensorflow 首先将损失减少到一个标量，然后对其进行优化。