无法在 Tensorflow 工作流程中冻结 Keras 层

Question

我正在尝试在 Tensorflow 工作流程中冻结 Keras 层。这就是我定义图表的方式：

import tensorflow as tf
from keras.layers import Dropout, Dense, Embedding, Flatten
from keras import backend as K
from keras.objectives import binary_crossentropy


import tensorflow as tf
sess = tf.Session()

from keras import backend as K
K.set_session(sess)

labels = tf.placeholder(tf.float32, shape=(None, 1))
user_id_input = tf.placeholder(tf.float32, shape=(None, 1))
item_id_input = tf.placeholder(tf.float32, shape=(None, 1))



max_user_id = all_ratings['user_id'].max()
max_item_id = all_ratings['item_id'].max()

embedding_size = 30
user_embedding = Embedding(output_dim=embedding_size, input_dim=max_user_id+1,
                           input_length=1, name='user_embedding', trainable=all_trainable)(user_id_input)
item_embedding = Embedding(output_dim=embedding_size, input_dim=max_item_id+1,
                           input_length=1, name='item_embedding', trainable=all_trainable)(item_id_input)



user_vecs = Flatten()(user_embedding)
item_vecs = Flatten()(item_embedding)


input_vecs = concatenate([user_vecs, item_vecs])

x = Dense(30, activation='relu')(input_vecs)
x1 = Dropout(0.5)(x)
x2 = Dense(30, activation='relu')(x1)
y = Dense(1, activation='sigmoid')(x2)

loss = tf.reduce_mean(binary_crossentropy(labels, y))

train_step = tf.train.AdamOptimizer(0.004).minimize(loss)

然后我只训练模型：

with sess.as_default():

train_step.run(..)

当可训练标志设置为True 时，一切正常。然后当我将其设置为False 时，它不会冻结图层。

我还尝试使用train_step_freeze = tf.train.AdamOptimizer(0.004).minimize(loss, var_list=[user_embedding]) 仅在我想训练的变量上最小化，我得到：

('Trying to optimize unsupported type ', <tf.Tensor 'Placeholder_33:0' shape=(?, 1) dtype=float32>)

是否可以在 Tensorflow 中使用 Keras 层并冻结它们？

编辑

为了清楚起见，我想使用 Tensorflow 训练模型，而不是使用 model.fit()。在 Tensorflow 中执行此操作的方法似乎是将 var_list=[] 传递给 minimize() 方法。但是我在执行此操作时遇到错误：

('Trying to optimize unsupported type ', <tf.Tensor 'Placeholder_33:0' shape=(?, 1) dtype=float32>)

Answer 1

我终于找到了办法。

TensorFlow 没有显式冻结 Keras 模型，而是让您可以选择指定要训练的变量。

在以下示例中，我从 Keras 实例化一个预训练的 VGG16 模型，在该模型上定义几个层，然后冻结该模型（即仅训练 Keras 模型之后的层）：

import tensorflow as tf
from tensorflow.python.keras.applications.vgg16 import VGG16, preprocess_input
from tensorflow.python.keras import backend as K
import numpy as np

inputs = tf.placeholder(dtype=tf.float32, shape=(None, 224, 224, 3))
labels = tf.placeholder(dtype=tf.float32, shape=(None, 1))
model = VGG16(include_top=False, weights='imagenet')

features = model(preprocess_input(inputs))

# Define the further layers

conv = tf.layers.Conv2D(filters=1, kernel_size=(3, 3), strides=(2, 2), activation=tf.nn.relu, use_bias=True)
conv_output = conv(features)
flat = tf.layers.Flatten()
flat_output = flat(conv_output)
dense = tf.layers.Dense(1, activation=tf.nn.tanh)
dense_output = dense(flat_output)

# Define the loss and training ops

loss = tf.losses.mean_squared_error(labels, dense_output)
optimizer = tf.train.AdamOptimizer()

# Specify which variables you want to train in `var_list`
train_op = optimizer.minimize(loss, var_list=[conv.variables, flat.variables, dense.variables])

要使用此方法，您必须为每个层实例化一个对象，因为这将允许您使用layer_name.variables 显式访问该层的变量。或者，您可以使用低级 API 并定义您自己的 tf.Variable 对象并使用它们制作图层。

您可以轻松验证上述方法是否有效：

sess = K.get_session()
K.set_session(sess)

image = np.random.randint(0, 255, size=(1, 224, 224, 3))

for _ in range(100):

    old_features = sess.run(features, feed_dict={inputs: image})
    sess.run(train_op, feed_dict={inputs: np.random.randint(0, 255, size=(2, 224, 224, 3)), labels: np.random.randint(0, 10, size=(2, 1))})
    new_features = sess.run(features, feed_dict={inputs: image})

    print(np.all(old_features == new_features))

这将打印True 一百次，这意味着模型的权重在运行训练操作时不会改变。

Answer 2

如果您在训练之前再次编译模型，Keras 只会使层真正无法训练。

现在，我没有看到您在任何地方编译您的模型，而且您正在将 Keras 与 TensorFlow 命令混合使用。

如果你想让 Keras 正常工作，你必须使用 Keras 命令。

在 Keras 中创建模型：

在y 之前，您做了正确的事情，除了定义一个输入层。在第一个嵌入层之前，您需要：

from keras.layers import Input

labels = Input((None, 1)) #is this really an input?????
user_id_input = Input((None, 1))
item_id_input = Input((None, 1))

然后你在 Keras 中创建一个模型：

from keras.models import Model

#supposing you want it to start with two inputs and the output being y
model = Model([user_id_input, item_id_input], y)

然后你编译你的模型，使用你想要的优化器和损失（你必须在这一步之前使层不可训练，或者每当你改变那个属性时再次编译）：

model.compile(optimizer='adam',loss='binary_crossentropy')

对于训练，您还可以使用 Keras 命令进行训练：

model.fit([Xuser,Xitem],Y, epochs=..., batch_size=...., ....)
#where Xuser and Xitem are actual training input data and Y contains the actual labels.