低分辨率运动视频中目标检测的最佳方法是什么？答案

【问题标题】：What is the best method for object detection in low-resolution moving video?低分辨率运动视频中目标检测的最佳方法是什么？
【发布时间】：2010-12-18 18:55:17
【问题描述】：

我正在寻找在移动视频中检测对象的最快、更有效的方法。关于此视频的注意事项：它非常颗粒状且分辨率低，而且背景和前景同时移动。

注意：我正在尝试在移动视频中检测道路上移动的卡车。

我尝试过的方法：

训练 Haar Cascade - 我尝试通过对所需对象的多张图像进行复制来训练分类器以识别对象。事实证明，这会产生许多错误检测或根本没有检测到（从未检测到所需的对象）。我使用了大约 100 张正片和 4000 张负片。

SIFT 和 SURF 关键点 - 当尝试使用这两种基于特征的方法时，我发现我想要检测的对象的分辨率太低，因此没有足够的特征来匹配以进行准确的检测. （从未检测到所需的对象）

模板匹配 - 这可能是我尝试过的最好的方法。这是最准确的，但也是最老套的。我可以使用从视频中裁剪的模板来检测一个特定视频的对象。但是，没有保证准确性，因为所有已知的都是每个帧的最佳匹配，没有对模板匹配帧的百分比进行分析。基本上，它仅在对象始终在视频中时才有效，否则会造成错误检测。

以上是我尝试过的三大方法，但都失败了。最有效的是模板匹配，但具有比例和旋转不变性（这导致我尝试 SIFT/SURF），但我不知道如何修改模板匹配函数。

有人对如何最好地完成这项任务有任何建议吗？

【问题讨论】：

卡车如何定位？它的形状/方向会改变吗？相机会改变位置吗？这是一次性视频，还是需要在多种不同条件下工作的系统？
我同意 endolith，用更多细节定义问题至关重要。方法的选择会影响鲁棒性。
卡车侧面的视图，它正在水平移动。车辆的形状变化不大，这就是模板匹配有效的原因，但我仍然希望我的方法具有鲁棒性。基本上，摄像机会左右平移，跟随几辆不同的车辆，而其他一些车辆则在后台驶过。本质上，我希望它能够在多种情况下工作（但主要处理类似质量的视频）。我最不想完成的是在移动视频中检测移动物体。
你能从你的视频中发布一个示例帧吗？

标签： image-processing opencv object-detection

【解决方案1】：

我们说的分辨率有多低？你能详细说明一下对象吗？它是一种特定的颜色吗？它有图案吗？答案会影响您应该使用的内容。

另外，我可能读错了您的模板匹配语句，但听起来您过度训练它（通过在您提取对象的同一视频上进行测试？？）。

【讨论】：

分辨率为720x480，但视频质量很差。在此分辨率下，视频非常像素化。关于模板匹配，我没有训练任何东西。我只是使用视频中的裁剪对象，并从每一帧中搜索。
你正在训练它，只是在一组数据上。如果对象的照明和方向几乎没有变化，则模板将非常匹配。这样做的那一刻，准确性真的会下降。不过，再次使用所有可以使用的提示 - 尤其是。如果它在那里，颜色。

【解决方案2】：

Haar Cascade 将需要您提供大量的训练数据，并且对于任何方向调整都会很差。

您最好的选择可能是将模板匹配与类似于camshift in opencv (5,7MB PDF) 的算法结合起来，以及卡车是否仍在图像中的概率模型（您必须弄清楚这一点）。

【讨论】：

【解决方案3】：

This vehicle detection paper 使用 Gabor 滤波器组 进行低级检测，然后使用响应来创建训练 SVM 分类器 的特征空间。

该技术似乎运作良好，并且至少是规模不变的。不过我不确定轮换。

【讨论】：

【解决方案4】：

不了解您的应用程序，我的第一印象是normalized cross-correlation，尤其是因为我记得看到一个具有车辆跟踪的纯光学互相关器作为示例应用程序。（仅使用光学组件和车辆侧面的图像跟踪车辆经过时 - 我希望我能找到链接。）这类似于（如果不相同）“模板匹配”，你说的那种作品，但如您所知，如果图像被旋转，这将不起作用。

但是，有一个related method based on log-polar coordinates 可以工作，不受旋转、缩放、剪切和平移的影响。

我想这也将启用跟踪对象已离开视频场景的功能，因为最大相关性会降低。

【讨论】：

【解决方案5】：

对图像应用optical flow，然后根据流场对其进行分割。背景流与“对象”流非常不同（主要取决于它是向您移动还是远离您，并且还具有一些横向分量）。

这是一个以这种方式工作的旧项目：

http://users.fmrib.ox.ac.uk/~steve/asset/index.html

【讨论】：