我有数百万张图片可以推断。我知道如何编写自己的代码来创建批次并使用MxNet Module API 将批次转发到经过训练的网络以获得预测。但是，创建批次会导致大量数据操作并没有特别优化。
在自己进行任何优化之前，我想知道是否有一些推荐的批量预测/推理方法。更具体地说，由于这是一个常见的用例，我想知道是否有一个接口/api 可以在给定训练模型（即符号文件和时代检查点）的情况下进行通常的图像预处理、批量创建和推理？
【问题讨论】：
如果您使用的是标准预训练模型，我强烈建议您查看gluoncv project - 一个基于 Apache MXNet 的计算机视觉工具包。
他们对最先进的模型有非常好的实现，有时甚至超过了发表在科学论文中的原始结果。很酷的是，它们还提供了数据预处理代码——据我所知，这就是你要找的。 （参见gluoncv.data.transforms.presets 包）。
我不知道你想做哪种推理，比如图像分类、分割等，但是看看list of tutorials，你很可能会找到你需要的。
除此之外，快速挂钟时间的优化要求您确保您的 GPU 被 100% 使用。您可能会发现观看this video 以了解有关优化性能的提示和技巧的更多信息很有用。它讨论了训练，但同样的技术也适用于推理。
【讨论】：