如何使用 Vision 和 Core ML 框架从图像中点击对象并从图像序列中跟踪它答案

【问题标题】：How to tap on object from an image and track it from sequence of images using Vision and Core ML framework如何使用 Vision 和 Core ML 框架从图像中点击对象并从图像序列中跟踪它
【发布时间】：2018-02-23 14:56:11
【问题描述】：

我正在使用新的 Core ML 框架开发应用程序。我想要实现的目标如下： 1.选择一个图像并点击其中的任何对象以绘制矩形 2. 之后在多个图像中跟踪该对象只是在 for 循环中运行

目前我正在处理以下流程

当用户有任务时检测对象并存储 VNDetectedObjectObservation = VNDetectedObjectObservation(boundingBox:convertedRect)
为 VNImageRequestHandler 创建 VNTrackObjectRequest 以执行请求

但没有得到正确的结果。任何帮助将不胜感激。

【问题讨论】：

为您的问题添加更多详细信息并更具体。 “没有得到正确的结果”是什么意思，你到底想要达到什么，为什么你不满意。从哪一步开始出错？如果可能的话，也很高兴看到一些代码片段。
看看苹果对Tracking with Vision的实现

标签： objective-c image-processing object-detection ios11 coreml

【解决方案1】：

我不熟悉coreml和objective c，所以我不能给你任何代码示例，但是没有人给你任何答案，我想描述一下我手动解决这个问题的方式：

获取点击点并展开（感兴趣的）区域，例如围绕该点的 N x N 正方形。
对点击区域执行分类，以便算法可以检测连续帧中的结构。
将位置存储在当前帧中，然后为下一帧扩展该区域，并使用此扩展区域检测其中的对象。

使用此策略，您可以将第 3 步中的扩展区域用于目标检测任务，您可以通过 YOLO 实现来解决该任务。但它比将整个帧放入对象检测要快得多，因为它只对一个小区域进行检测。

我希望这至少对你有所帮助。

【讨论】：