caffe 在做什么记账？答案

【问题标题】：What bookkeeping is caffe doing?caffe 在做什么记账？
【发布时间】：2016-03-24 11:02:04
【问题描述】：

Caffe tutorial 声明：

网络是在计算图中连接的一组层 - 准确地说是有向无环图 (DAG)。 Caffe 对任何层的 DAG 进行所有记账，以确保向前和向后传递的正确性。

“所有的簿记”是什么意思？没看懂。
怎么记账？

【问题讨论】：

标签： machine-learning neural-network deep-learning caffe backpropagation

【解决方案1】：

Caffe 与许多其他深度学习框架一样，使用随机梯度体面 (SGD) 训练其模型，实现为梯度反向传播。也就是说，对于一小批训练示例，caffe 将批次通过网络（“前向传递”）以计算网络参数的损失。然后，它将损失梯度反向传播（“反向传递”）以根据估计的梯度更新所有参数。

通过本教程的“记账”，您无需担心估计梯度和更新参数。一旦您使用现有层（例如，"Convolution"、"ReLU"、"Sigmoid" 等），您只需要定义图结构（网络的架构）并提供训练数据，剩下的就交给 caffe训练过程：它将前向/后向每个小批量，计算损失，估计梯度并更新参数 - 一切都为您服务。
非常棒，你不觉得吗？ ;)

【讨论】：