如何解析 gRPC 存根客户端从 tensorflow 服务服务器接收到的输出？答案

【问题标题】：How to parse the output received by gRPC stub client from tensorflow serving server?如何解析 gRPC 存根客户端从 tensorflow 服务服务器接收到的输出？
【发布时间】：2018-02-24 06:17:35
【问题描述】：

我已经导出了一个 DNNClassifier 模型并使用 docker 在 tensorflow-serving 服务器上运行它。之后，我编写了一个 python 客户端来与该 tensorflow-serving 进行交互以进行新的预测。

我编写了以下代码来获取来自 tensorflow-serving 服务器的响应。

host, port = FLAGS.server.split(':')
  channel = implementations.insecure_channel(host, int(port))
  stub = prediction_service_pb2.beta_create_PredictionService_stub(channel)

  request = predict_pb2.PredictRequest()
  request.model_spec.name = FLAGS.model
  request.model_spec.signature_name = 'serving_default'

  feature_dict = {'a': _float_feature(value=400),
                  'b': _float_feature(value=5),
                  'c': _float_feature(value=200),
                  'd': _float_feature(value=30),
                  'e': _float_feature(value=60),
                  'f': _float_feature(value=5),
                  'g': _float_feature(value=7500),
                  'h': _int_feature(value=1),
                  'i': _int_feature(value=1234),
                  'j': _int_feature(value=1),
                  'k': _int_feature(value=4),
                  'l': _int_feature(value=1),
                  'm': _int_feature(value=0)}
  example= tf.train.Example(features=tf.train.Features(feature=feature_dict))
  serialized = example.SerializeToString()

  request.inputs['inputs'].CopyFrom(
        tf.contrib.util.make_tensor_proto(serialized, shape=[1]))

  result_future = stub.Predict.future(request, 5.0)
  print(result_future.result())

现在我得到的输出是：-

我无法弄清楚如何解析该 float_val 数字，因为那是我的输出。请帮忙。

【问题讨论】：

它解决了您的问题吗？如果是这样，你能接受答案吗？

标签： python tensorflow stub grpc tensorflow-serving

【解决方案1】：

您可以执行以下操作

result = stub.Predict(request, 5.0)
float_val = result.outputs['outputs'].float_val

注意这个方法调用stub.Predict而不是stub.Predict.future

【讨论】：

如果你有多个值怎么办？

【解决方案2】：

如果您有多个输出，您可以执行以下操作，基本上创建一个字典，其中键对应于输出，值对应于模型返回的任何列表。

results = dict()
for output in output_names:
    results[output] = response.outputs[output].float_val

【讨论】：

您能否澄清一下，您正在迭代的变量“output_names”是什么。
是的 - 输出名称是包含模型输出的列表。例如，在问题中提供的屏幕截图中，它将类似于 output_name=['outputs']。如果您的模型有多个输出，则类似于output_names=['output_1', 'output_2']。我个人使用 tensorflow 服务提供的元数据端点来检索元数据（包括输出名称），我将输出名称存储在一个列表中，然后遍历这个列表。

【解决方案3】：

这是@Maxime De Bruyn给出的答案的补充，

在使用 mobilenet/inception 模型的具有多个预测输出的预测 API 中，以下代码段对我不起作用。

result = stub.Predict(request, 5.0)

float_val = result.outputs['outputs'].float_val

print("输出：", float_val)

Output: []

相反，我不得不在输出中使用“预测”键。

result = stub.Predict(request, 5.0)
predictions = result.outputs['prediction'].float_val
print("Output: ", predictions)

Output: [0.016111543402075768, 0.2446805089712143, 0.06016387417912483, 0.12880375981330872, 0.035926613956689835, 0.026000071316957474, 0.04009509086608887, 0.35264086723327637, 0.0762331634759903, 0.019344471395015717]

【讨论】：

【解决方案4】：

您正在寻找的可能是 tf.make_ndarray，它从 TensorProto 创建一个 numpy 数组（即是 tf.make_tensor_proto 的倒数）。通过这种方式，您的输出恢复了它应该具有的形状，因此基于 Jasmine 的答案，您可以将多个输出存储在字典中：

response = prediction_service.Predict(request, 5.0)

results = {}
for output in response.outputs.keys():
    results[output] = tf.make_ndarray(response.outputs[output])

【讨论】：