是否需要为冻结层定义后向函数？答案

【问题标题】：Is it necessary to define the backward function for the frozen layers?是否需要为冻结层定义后向函数？
【发布时间】：2017-03-01 17:45:21
【问题描述】：

我有一个具有 4 个隐藏层的函数拟合网络。

我需要为 first 和第三层找到合适的权重，而 second 和 fourth 层是某种 normalization 层，不需要学习，所以我只是通过设置它们来冻结它们学习率为零。

我的问题是：

我应该为这两个冻结层定义后向函数吗？

我在 caffe 中saw 认为没有任何可学习参数的池化层具有后向功能。

提前致谢，

【问题讨论】：

【解决方案1】：

是的，您需要向后传递，否则您的学习将在这一层停止（它下面的任何东西都不会学习）。即使对于不可学习的层，您也需要计算有效梯度。

【讨论】：

非常感谢，但是通过突出显示“有效渐变”，您的意思是我应该假设冻结层实际上并未冻结并编写自己的后向函数或仅根据 Keir 的评论与传入的渐变交互?
我的意思是，图层被冻结并不重要，只要它正在处理数据，它就会提供渐变。例如，如果您有一个乘以 123 的层（并且您不再更改此 123），则它的反向传递也应该输出 123 倍的输入梯度（因为 d(123*x)/dx = 123）。凯尔的评论无效。如果你“通过”梯度，这将是无效的操作。