加速 EDGE TPU 上的多模型推理答案

【问题标题】：Speed Up Multiple Model Inference on EDGE TPU加速 EDGE TPU 上的多模型推理
【发布时间】：2020-09-14 03:38:19
【问题描述】：

我重新训练了一个 RESNET50 模型，以便在 EDGE TPU 上重新识别。但是，似乎没有办法将一批图像提取到EDGE_TPU。

我想出了一个为图像运行多个相同模型的解决方案。

但是，有没有办法加快多个模型的模型推理？现在的线程甚至比单模型推理还要慢

【问题讨论】：

【解决方案1】：

是的，edgetpu 的架构师不允许批量处理。您是否尝试过模型流水线？ https://coral.ai/docs/edgetpu/pipeline/

不幸的是，目前仅在 C++ 中可用，但我们希望在第四季度中期将其扩展到 python。

【讨论】：

谢谢你，南。我会试试我的越南人：D
这不在评论部分，但如何在具有多个输出的 keras 上后量化全整数推断。我尝试过并且总是在 edge_tpu 编译时失败。你可以检查一下吗？我在下面附上我的模型
drive.google.com/drive/folders/…
@dtlam26 你的 ptq 脚本是什么样的？你能把它也贴在那个驱动器文件夹上吗？
我已经上传了，Nam。感谢您为我花费时间

【解决方案2】：

因为批量推理现在不可用，所以流水线是另一个次要选项。但是，在体验了我的模型之后，我们可以通过为 EDGE_TPU 提供多个单一输入作为另一种选择来制作一个伪批处理

【讨论】：