非静态环境中的对象跟踪答案

【问题标题】：Object Tracking in non static environment非静态环境中的对象跟踪
【发布时间】：2023-03-12 19:51:01
【问题描述】：

我正在开发一个基于无人机的视频监控项目。我需要同样实现对象跟踪。我尝试过传统方法，但由于非静态环境，这些方法似乎失败了。

This is an example 我想要实现的目标。但这使用了非静态相机无法实现的背景减法。

我也尝试过使用SURF features 进行基于特征的跟踪，但是对于较小的对象它会失败并且容易出现误报。

在这种情况下实现目标的最佳方式是什么？

编辑：对象可以是定义的感兴趣区域内的任何东西。对象通常是人或车辆。这个想法是用户将制作一个定义感兴趣区域的边界框。无人机现在必须开始跟踪这个感兴趣区域内的任何东西。

【问题讨论】：

你是如何定义一个“对象”的？这似乎是一个简单的问题，但请尝试考虑您要跟踪的具体内容。例如。你想追踪一辆坦克（如果是，你想确定坦克是朋友还是敌人？）你想追踪人吗？你想追踪流浪狗吗？如果你在海洋上空飞行，你想追踪海浪吗？如果您需要相关答案，请提供更具体的信息。
你能先解释一下什么是对象吗？第一个算法提取所有移动对象，第二个算法识别先前学习的对象。我不确定你真正需要什么。
@ChrisBritt 我已经编辑了这个问题。感谢您寻求澄清。
@HARJATINSINGH 如果您让用户定义感兴趣的区域，我会探索修改/使用 SURF 特征检测器或类似 HAAR Cascades 的东西。即使当前算法不能正常工作，您也可以始终将其作为新算法的起点。 “小而不能正常工作”有多“小”，您是否能够调整图像分辨率？此外，还可以试一试它检测到的特征数量，以及它们会不时变化多少。
@ChrisBritt 我认为 SURF 特征的问题在于，在监视馈送的情况下，感兴趣的对象通常与背景合并，因此边缘等特征不是很明显。但我会给 HAAR 级联一个机会。

【解决方案1】：

在您的情况下，跟踪本地功能（如 SURF）将不起作用。训练分类器（如使用 HAAR 功能进行提升）也不起作用。让我解释一下原因。

您要跟踪的对象将包含在一个边界框中。在这个边界框内可能有任何对象，而不是 person、car 或您用来训练分类器的其他东西。

此外，在对象附近，边界框中也会有背景噪音，只要您的目标对象移动，即使对象的外观没有改变，背景噪音也会发生变化。此外，您对象的外观发生变化（例如，一个人转身，或脱下夹克，车辆反射太阳等......），或者对象（部分或全部）被遮挡一段时间。所以跟踪局部特征很可能很快就会丢失被跟踪的对象。

所以第一个问题是您必须处理潜在的许多不同对象（可能是先验未知的）来进行跟踪，并且您无法为每个对象训练分类器。

第二个问题是你必须跟随一个外观可能会改变的对象，所以你需要更新你的模型。

第三个问题是你需要一些逻辑告诉你丢失了被跟踪的对象，你需要在场景中再次检测到它。

那该怎么办？那么，您需要一个好的长期跟踪器。

最好的之一（据我所知）是Kalal et. al. 的 Tracking-Learning-Detection (TLD)。你可以在专用的page 上看到很多示例视频，你可以看到它在移动相机、改变外观的物体等方面效果很好......

幸运的是，OpenCV 3.0.0 有一个TLD 的实现，您可以找到一个示例代码here（在上述站点中也有一个 Matlab + C 实现）。

主要缺点是这种方法可能很慢。您可以测试它是否对您来说是个问题。如果是这样，您可以对视频流进行下采样、升级硬件或切换到更快的跟踪方法，但这取决于您的要求和需要。

祝你好运！

【讨论】：

【解决方案2】：

最简单的尝试是帧差分而不是背景减法。当前帧减去前一帧，对差分图像进行阈值化，使其二值化，然后使用一些形态学来清理噪声。使用这种方法，您通常只能获取对象的边缘，但这通常足以进行跟踪。

您还可以尝试使用 vision.PointTracker 来增强此方法，它实现了 KLT (Kanad-Lucas-Tomasi) 点跟踪算法。

或者，您可以尝试使用密集光流。请参阅opticalFlowLK、opticalFlowHS 和 opticalFlowLKDoG。

【讨论】：