反向传播中的梯度维度

Question

以一个简单的神经网络为例，它接收维度为 NxF 的数据，并输出 NxC，其中 N、F 和 C 分别代表样本数、特征数和 C 个输出神经元。不用说，考虑到我们正在处理多类分类问题，使用带有交叉熵的 softmax 函数。我对如何为反向传播计算梯度的理解有些问题。我在下面给出了梯度计算步骤。有人可以澄清我哪里出错了。

Answer 1

我在计算softmax的梯度时计算错误。维度是 NxC 而不是 NxCxC，所以一切都正确排列。