DeepSORT 对象跟踪框架中的对象检测器是否在视频的每一帧上运行？

Question

我正在尝试使用this paper 中描述的 DeepSORT 算法跟踪对象。我的理解是，这里有两个深度学习模型在起作用。一个是对象检测器（可能是 YoLo 等），另一个是特征提取器。物体检测器尝试检测帧中物体的存在，而特征提取器帮助识别当前检测到的物体是否之前已经被检测到，如果是，它将检测到的物体分配到相应的track强>。

但是，我无法理解的一件事是对象检测器何时运行？是的，它应该在第一帧运行，但在那之后，它是否只在每 nth 帧后运行？或者它是否在每一帧上运行，但仅在跟踪器预测的近似位置上运行。

谢谢。

Answer 1

对象检测器（或 YOLO）在视频的每一帧上运行，并且独立于跟踪器，即 DeepSORT。 DeepSORT 对每一帧都使用来自对象检测器的检测，并尝试将其与前一帧中的检测相关联。

在这种关联过程中，除了匈牙利算法之外，还使用 ​​DeepSORT 的特征提取器来提供最佳关联和跟踪结果。

您可以在以下位置找到详细说明：

1. https://towardsdatascience.com/people-tracking-using-deep-learning-5c90d43774be
2. https://towardsdatascience.com/computer-vision-for-tracking-8220759eee85