tensorflow - 保存和恢复操作

Question

我有一个简单的目标，即在 tensorflow 中训练模型并在以后恢复它，以便继续训练或使用某些功能/操作。

这是模型的简单示例

import tensorflow as tf
import numpy as np

BATCH_SIZE = 3
VECTOR_SIZE = 1
LEARNING_RATE = 0.1

x = tf.placeholder(tf.float32, [BATCH_SIZE, VECTOR_SIZE],
                   name='input_placeholder')
y = tf.placeholder(tf.float32, [BATCH_SIZE, VECTOR_SIZE],
                   name='labels_placeholder')

W = tf.get_variable('W', [VECTOR_SIZE, BATCH_SIZE])
b = tf.get_variable('b', [VECTOR_SIZE], initializer=tf.constant_initializer(0.0))

y_hat = tf.matmul(W, x) + b
predict = tf.matmul(W, x) + b
total_loss = tf.reduce_mean(y-y_hat)
train_step = tf.train.AdagradOptimizer(LEARNING_RATE).minimize(total_loss)
X = np.ones([BATCH_SIZE, VECTOR_SIZE])
Y = np.ones([BATCH_SIZE, VECTOR_SIZE])
all_saver = tf.train.Saver() 

sess= tf.Session()
sess.run(tf.global_variables_initializer())
sess.run([train_step], feed_dict = {x: X, y:Y}))
save_path =  r'C:\some_path\save\\'
all_saver.save(sess,save_path)

现在我们在这里恢复它：

meta_path = r'C:\some_path\save\.meta'
new_all_saver = tf.train.import_meta_graph(meta_path)

graph = tf.get_default_graph()
all_ops = graph.get_operations()
for el in all_ops:
    print(el)

在恢复的操作中，甚至无法从原始代码中找到predict 或train_step。我需要在保存之前命名此操作吗？我怎样才能找回predict 并运行类似的东西

sess=tf.Session()
sess.run([predict], feed_dict = {x:X})

附：我阅读了很多关于在 tensorflow 中保存和恢复的教程，但仍然不太了解它是如何工作的。

Answer 1

1) 您的操作在恢复的模型中存在，但是由于您没有命名它们，它们将根据一些默认规则命名。例如，既然你有：

predict = tf.matmul(W, x) + b

那么表示predict 的操作可能如下所示：

name: "add"
op: "Add"
input: "MatMul"
input: "b/read"
attr {
  key: "T"
  value {
    type: DT_FLOAT
  }
}

在这个例子中，当你执行for el in all_ops:并打印结果时，你会看到操作的名称是“add”，它是自动分配的；操作类型（“op”）为“Add”，对应于代码行中最后执行的操作（即+）；输入是“MatMul”和“b/read”，对应于你的总和。为了清楚起见，我不确定这个操作是否对应于给定的代码行，因为打印中存在具有相同类型输入的其他添加，但这是可能的。

所以总结到现在：你的操作在那里，你在打印时看到它们。但是为什么你没有看到“预测”这个词呢？好吧，因为这不是 Tensorflow Graph 中张量或运算的名称，它只是你代码中的变量名称。

展望未来，您如何访问此“预测”？答案是通过它的名称，如图所示。在上面的例子中，如果我的猜测是正确的，predict 的名称可以是“add”，但让我们改为命名您的“predict”，这样您就可以轻松控制对应于哪个操作。

为了命名你的“预测”，让我们在predict = tf.matmul(W, x) + b下方添加以下代码：

predict_named = tf.identity(predict, "here_i_put_a_name")

该行所做的是创建一个新操作，该操作接收“预测”中定义的操作作为输入，并产生与输入结果相等的输出。该操作本身并没有做太多 - 只是重复一个值 - 但通过这个操作我可以为其添加一个名称。现在，如果您在印刷品中搜索，您将能够找到：

name: "add_1"
op: "Add"
input: "MatMul_1"
input: "b/read"
attr {
  key: "T"
  value {
    type: DT_FLOAT
  }
}

name: "here_i_put_a_name"
op: "Identity"
input: "add_1"
attr {
  key: "T"
  value {
    type: DT_FLOAT
  }
}

不错！现在您 1）可以使用名称“here_i_put_a_name”访问您的“预测”，并且 2）我们可以确认您的“预测”实际上是名称为“add_1”的操作 - 只需检查操作的“输入”属性上方“这里_i_put_a_name”。

完成后，让我们访问“here_i_put_a_name”操作并完成一些预测。首先，更改您的 save_path 和 meta_path，在最后放置一个可能的文件名，例如：

save_path =  r'C:\some_path\save\my_model_name'
meta_path = r'C:\some_path\save\my_model_name.meta'

然后，在恢复代码的末尾添加：

with tf.Session(graph=graph) as sess:

    new_all_saver.restore(sess,save_path)
    my_prediction = sess.run(["here_i_put_a_name:0"], feed_dict={"input_placeholder:0": [[1],[2],[3]]})
    print(my_prediction)

使用此块，您将创建一个新的 Tensorflow 会话并使用存储在变量“graph”中的图形。在此上下文中，您将会话从 save_path 恢复到当前会话。然后，您正在运行预测，或者更准确地说，您正在运行操作“here_i_put_a_name”并获得该操作的第一个输出（为什么我们后面有“:0”）。 feed dict 将值 [[1],[2],[3]] 赋予张量“input_placeholder:0”（同样，“:0”向我们展示了这是一个张量，而不是一个操作）。

说了这么多，并且（希望）回答了问题，我有一些 cmets：

1)根据我的经验，使用库tf.saved_model 来保存和恢复模块会很好。但这是我个人的建议。

2）我只回答你关于命名和调用操作的问题，所以我忽略了训练和预测例程。但我认为你在将变量 X 与 BATCH_SIZE 作为大小时处理问题是错误的。

3)注意“blabla”和“blabla:0”之间的区别。第一个是操作，最后一个是张量。