与 keras h5 模型（VGG16 预训练）相比，Tensorflow lite 模型推理非常慢答案

【问题标题】：Tensorflow lite model inference is very slow compared to keras h5 model (VGG16 pretrained)与 keras h5 模型（VGG16 预训练）相比，Tensorflow lite 模型推理非常慢
【发布时间】：2021-04-01 23:32:14
【问题描述】：

与 keras (h5) 模型相比，Tensorflow lite 预测非常慢。 Colab 和 Windows 10 系统上的行为相似。我将标准 VGG16 模型转换为 tflite，无论有无优化（converter.optimizations = [tf.lite.Optimize.DEFAULT]）

这是我得到的结果：

Keras 模型 (540MB) 预测时间：0.14 秒
tflite 未优化 (540MB) 预测时间：0.5 秒
tflite 优化 (135MB) 预测时间：39 秒

我在这里遗漏了什么吗？ tflite 不应该针对速度进行优化吗？在 Raspberry Pi 或其他“较轻”设备上的行为会有所不同吗？

Link to the code on colab

【问题讨论】：

标签： python tensorflow keras

【解决方案1】：

TensorFlow Lite 并未针对桌面/服务器进行优化，因此它在这些环境中的大多数模型表现不佳也就不足为奇了。 TFLite 的优化内核（包括他们的许多 GEMM 操作）特别适用于移动 CPU（其指令集与桌面 CPU IIUC 不同）。

标准 TensorFlow 更适合您的用例。

【讨论】：