如何使用 GPU 使用 tf.lite.Interpreter（在 python 中）运行 tflite 模型（*.tflite）？答案

【问题标题】：How can I use GPU for running a tflite model (*.tflite) using tf.lite.Interpreter (in python)?如何使用 GPU 使用 tf.lite.Interpreter（在 python 中）运行 tflite 模型（*.tflite）？
【发布时间】：2019-09-05 08:45:35
【问题描述】：

根据https://www.tensorflow.org/lite/convert 的说明，我已将张量流推理图转换为 tflite 模型文件 (*.tflite)。

我在我的 GPU 服务器上测试了 tflite 模型，它有 4 个 Nvidia TITAN GPU。我使用 tf.lite.Interpreter 来加载和运行 tflite 模型文件。

它就像以前的张量流图一样工作，但是问题是推理变得太慢了。当我检查原因时，我发现当 tf.lite.Interpreter 运行时，GPU 利用率仅为 0%。

有什么方法可以让我在 GPU 支持下运行 tf.lite.Interpreter？

【问题讨论】：

你安装了 tensorflow-gpu 吗？
是的，我检查了 GPU 是否在其他情况下使用。

标签： python tensorflow interpreter tensorflow-lite

【解决方案1】：

https://github.com/tensorflow/tensorflow/issues/34536

CPU 对于 tflite 来说已经足够了，尤其是多核。

nvidia GPU 可能未针对用于移动 GPU 平台的 tflite 进行更新。

【讨论】：

【解决方案2】：

阴谋：他们（TF-NVIDIA）握手不让 TFlite 在 GPU 上工作？做一个太容易了。

史蒂夫

【讨论】：