如何处理遮挡和碎片

Question

我正在尝试使用计算机视觉为 uni 项目实施人数统计系统。目前，我的方法是：

1. 使用 MOG2 进行背景减法
2. 去除噪声的形态滤波器
3. 跟踪 blob
4. 计数通过指定区域（一条线）的 blob

问题是，如果人们成群结队，我的方法只计算一个人。根据我的阅读，我相信这就是所谓的遮挡。另一个问题是当人们看起来与背景相似时（穿着深色衣服并经过黑色柱子/墙壁），斑点被分开，而实际上它是一个人。

根据我的阅读，我应该实现一个检测器 + 跟踪器（例如，使用 HOG 检测人类）。但是我的检测结果很差（例如，50% 的误报率和 50% 的命中率；使用 OpenCV 人体检测器和我自己训练的检测器）所以我不相信使用检测器作为跟踪的基础。感谢您的回答和阅读这篇文章的时间！

Answer 1

对此没有单一的“好”答案，因为处理遮挡（和背景减法）仍然是悬而未决的问题！有几个可以帮助您完成项目的指针。

您想检测“blob”是一个人还是一群人。你可以做几件事来处理这个问题。

• 使用多个摄像头（不太可能从各个角度将一群人检测为单个斑点）
• 尝试检测人体的某些部位。如果您在一个斑点上检测到两个头，则说明有多个人。 3 条腿、5 条肩膀等也是如此。

在跟踪一个“迷路”的人（一个走在另一个物体后面的人）的领域，是推断它的位置。你知道一个人只能在帧之间移动这么多。考虑到这一点，您知道用户不可能在您的图像中间被检测到然后突然消失。在几帧没看到那个人之后，你可以放弃观察，因为这个人可能已经有足够的时间离开了。

Answer 2

在视频监控序列中跟踪人员仍然是研究界的一个悬而未决的问题。然而particule filters (PF)（又名连续蒙特卡罗）在遮挡和复杂场景方面给出了很好的结果。你应该阅读this。在 biblio 之后还有额外的示例源代码链接。

使用 PF 的一个优势是通过检测（仅）在计算时间方面的增益。

如果您这样做，请随时要求更好地了解 PF 背后的数学。