Keras 是否计算冻结层的梯度？答案

【问题标题】：Does Keras calculate gradients for frozen layers?Keras 是否计算冻结层的梯度？
【发布时间】：2017-12-06 05:08:34
【问题描述】：

我使用带有 tensorflow 后端的 Keras。
Keras 是否仍会为我设置的层计算梯度trainable = False？

当我修复大部分层时，我没有观察到深度网络（如 Resnet-50）的加速。看起来固定层的梯度仍在计算中，但它们的值乘以 0。谁能确定这是真的吗？

这是一个小型网络的示例，我在其中修复了第一层。

import numpy as np
import keras
import keras.applications.resnet50

x = keras.layers.Input(shape=(5,))
y = keras.layers.Dense(5)(x)

z = keras.layers.Dense(5)(y)
model = keras.models.Model(x, z)
for layer in model.layers[:2]:
    layer.trainable = False

model.compile(optimizer='rmsprop', loss='mse')
print model.summary()

X = np.random.rand(100, 5)

model.fit(X, X, epochs=100)

【问题讨论】：

标签： tensorflow keras keras-layer

【解决方案1】：

如果您查看源代码，您会发现梯度仅针对_trainable_weights 计算。

请注意，无论如何，要计算任何梯度，您都需要在网络上进行完整的前向传递。然后你还需要反向传播到第一个可训练层的输入。因此，收益可能确实没有您预期的那么大（如果您将一半的权重设置为不可训练，您不会获得 2 倍的加速）。

在您的情况下，具有不可训练的最后一个权重只会为您节省四个矩阵乘法中的一个（2 个向前，2 个向后）。如果我在有或没有可训练的第一层的情况下测量您的代码的运行时间，我会看到 1.4 秒与 1.15 秒的差异（Tensorflow CPU）或 13 与 11 秒（Theano CPU 纯 Python），这在我看来是合理的。

如果您比较一个更长的网络（例如，在您的示例中添加 10 层），根据我对（Theano 纯 Python）的测量，所有层都可训练和只有最后一个层之间的差异会变成 10 秒和 50 秒。

请注意，您通常不应期望性能提升超过 50%，因为您本质上只保存了一部分反向传递。由于 Theano 的优化，5 倍的巨大胜利很可能是唯一可能的，它将所有不可训练的密集层组合成一个单一的矩阵乘法。事实上，在 Tensorflow 上，我在这里只看到 1.5s 与 2.0s 的差异。

【讨论】：