逐帧处理视频时的对象检测“一致性”

Question

这是一个普遍的问题，而不是一个问题，我希望我在这里问这个问题不是不礼貌的。我发誓我进行了搜索，但要么我的 google-fu 缺失，要么我使用的术语完全是曲目，或两者兼而有之。

在视频中进行对象检测时，您如何命名该问题，您在一帧中检测到某个对象，但在下一帧中您没有检测到它，但在下一帧中再次检测到它？我称之为“闪烁”，但我确定这不是学术术语。

然后，你如何解决这个问题？经过思考，在我看来这个问题与对象跟踪有关，但是当对不移动的对象进行对象检测时，又会出现这个问题。

任何提示和/或参考将不胜感激。

Answer 1

我在开发一些对象检测用例时遇到了类似的问题 - “闪烁”。不管你的检测有多好，总会有闪烁的问题。就我而言，我使用以下任一方法解决问题：

1) 如果您不计算任何置信度值，那么您可以获取帧的历史记录，然后决定是否显示天气，而不是决定天气以显示每一帧中的检测。选择帧数的阈值，如果在特定位置的所有先前帧中都缺少检测，则只需决定不显示，否则您可以继续显示。 例如：假设您将帧数阈值保持为 4，那么您将检查天气，在所有前 4 帧中都缺少检测，然后只跳过显示检测，否则您可以显示。这在很大程度上消除了闪烁。 *此案例假定它是实时视频，并且在非常连续的帧中没有发生太大变化。

2) 计算与对象检测相关的一些置信度值，并在同一位置的连续帧中检查该置信度值（即在先前帧中检测到对象的位置）。即使检测的置信度稍低，您也可以将阈值设置得较低，以便它仍然可以检测到，从而消除闪烁。