恢复已保存的 Tensorflow .pb 模型的权重

Question

我在这里看到了很多关于恢复已保存的 TF 模型的帖子，但没有人能回答我的问题。 Using TF 1.0.0

具体来说，我有兴趣查看inceptionv3 模型的权重，该模型在.pb 文件here 中公开提供。我设法使用一小段 Python 代码将其恢复，并且可以访问 tensorboard 中的图形高级视图：

from tensorflow.python.platform import gfile

INCEPTION_LOG_DIR = '/tmp/inception_v3_log'

if not os.path.exists(INCEPTION_LOG_DIR):
    os.makedirs(INCEPTION_LOG_DIR)
with tf.Session() as sess:
    model_filename = './model/tensorflow_inception_v3_stripped_optimized_quantized.pb'
    with gfile.FastGFile(model_filename, 'rb') as f:
        graph_def = tf.GraphDef()
        graph_def.ParseFromString(f.read())
        _= tf.import_graph_def(graph_def,name='')
    writer = tf.train.SummaryWriter(INCEPTION_LOG_DIR, graph_def)
    writer=tf.summary.FileWriter(INCEPTION_LOG_DIR, graph_def)
    writer.close()

但是，我无法访问任何层的权重。

tensors= tf.import_graph_def(graph_def,name='')

返回空，即使我添加任意return_elements=。它有任何重量吗？如果是，这里的适当程序是什么？谢谢。

Answer 1

使用此代码打印张量的值：

with tf.Session() as sess:
    print sess.run('your_tensor_name')

您可以使用此代码检索张量名称：

    op = sess.graph.get_operations()
    for m in op : 
    print(m.values())

Answer 2

恢复权重和打印权重是有区别的。前者表示希望从已保存的 ckpt 文件中导入权重值以进行再训练或推理，而后者可能用于检查。 .pb 文件也将模型参数编码为 tf.constant() ops。结果，模型参数不会出现在 tf.trainable_variables() 中，因此您不能直接使用.pb 来恢复权重。根据您的问题，我认为您只是想“查看”权重以进行检查。

让我们首先从.pb 文件中加载图表。

import tensorflow as tf
from tensorflow.python.platform import gfile

GRAPH_PB_PATH = './model/tensorflow_inception_v3_stripped_optimized_quantized.pb' #path to your .pb file
with tf.Session(config=config) as sess:
  print("load graph")
  with gfile.FastGFile(GRAPH_PB_PATH,'rb') as f:
    graph_def = tf.GraphDef()
    graph_def.ParseFromString(f.read())
    sess.graph.as_default()
    tf.import_graph_def(graph_def, name='')
    graph_nodes=[n for n in graph_def.node]

现在，当您将图形冻结到 .pb 文件时，您的变量将转换为 Const 类型，并且作为训练变量的权重也将作为 Const 存储在 .pb 文件中。 graph_nodes 包含图中的所有节点。但我们对所有Const 类型的节点都感兴趣。

wts = [n for n in graph_nodes if n.op=='Const']

wts 的每个元素都是 NodeDef 类型。它有几个属性，例如名称，操作等。值可以提取如下 -

from tensorflow.python.framework import tensor_util

for n in wts:
    print "Name of the node - %s" % n.name
    print "Value - " 
    print tensor_util.MakeNdarray(n.attr['value'].tensor)

希望这能解决您的问题。

Answer 3

您可以使用此代码获取张量的名称。

[tf.get_default_graph().as_graph_def().node 中张量的tensor.name]

Answer 4

打印 .pb 模型权重的小工具：

import argparse

import tensorflow as tf
from tensorflow.python.framework import tensor_util


def print_pb_weights(pb_filepath):
    graph_def = tf.GraphDef()
    with tf.gfile.GFile(pb_filepath, "rb") as f:
        graph_def.ParseFromString(f.read())
        tf.import_graph_def(graph_def, name='')

    for node in graph_def.node:
        if node.op == 'Const':
            print('-' * 60)
            print('op:', node.op)
            print('name:', node.name)
            arr = tensor_util.MakeNdarray(node.attr['value'].tensor)
            print('shape:', list(arr.shape))
            print(arr)


if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('pb_filepath')
    args = parser.parse_args()

    print_pb_weights(args.pb_filepath)