【发布时间】：2019-10-16 07:40:18
【问题描述】：
我正在使用Vision 框架（位于coreML 之上）对照片进行预测。由于coreML 2 可以进行批量预测（一次多张照片），但我不确定Vision 是否也支持它。至少我没有找到。
【问题讨论】：
-
目前似乎没有。请注意，在 iOS 上，无论如何您并没有真正从批处理中获得巨大的速度提升。
-
@Matthijs Hollemans - 我看到在 Mac OS 上增益约为 30%。是不是比 iOS 少？为什么？
-
也许这取决于任务。如果单个预测只使用一点 GPU，那么 GPU 不会很忙，运行速度也会变慢。在那种情况下，做一个批处理会让 GPU 做更多的工作，这也让它运行得更快。但是，如果单个预测已经完成了大量 GPU 工作，那么 GPU 将已经以最高速度运行。此外，批量处理意味着必须少做 CPU GPU 同步。在 Mac 上可能比在 iOS 上更贵，因为 CPU 和 GPU 使用不同的内存。但实际上，唯一确定的方法是尝试并测量。
标签： machine-learning deep-learning coreml