多个批次在 TensorFlow Lite 中正常运行的条件是什么？答案

【问题标题】：What are conditions in order for multiple batches to work well in TensorFlow Lite?多个批次在 TensorFlow Lite 中正常运行的条件是什么？
【发布时间】：2021-06-27 06:40:14
【问题描述】：

您知道，TensorFlow Lite 在某些情况下通过在推理之前调用 ResizeInputTensor 非常适用于多批次推理。但是我的模型效果不好。

为了使多个批次在 TensorFlow Lite 中正常工作，需要什么条件？

我怀疑您需要将批量维度设置为 -1 以进行 Reshape。

我想知道确切的条件。

谢谢。

【问题讨论】：

标签： tensorflow-lite

【解决方案1】：

为了能够有动态批处理，原始模型必须有动态批处理，然后当您转换为tflite时，导出的模型将支持调整大小。

【讨论】：

感谢您的评论，诺赛尔先生。我一开始尝试过，但失败了。可能是平台问题。我的目标是麒麟990，不是流行的骁龙系列。当您转换具有可变批量大小的模型时，结果包括 NNAPI for Kirin 系列不支持的操作。
当前 NNAPI 委托不支持动态大小的张量。但是您可以在具有动态批处理支持的 CPU 上运行它。如果要使用NNAPI，可以将输入的shape进行静态预转换，再重新转换模型
是的，你的最后一句话正是我的问题。在转换 TensorFlow 1 时，我在 NNAPI 上成功了多个批次，但是 TensorFlow 2 或 2.4.0 及更高版本，TF 以复杂的方式转换可变批次模型。我想知道模型在 NNAPI 上适用于多批次的条件。