光流与关键点匹配：有什么区别？答案

【问题标题】：Optical flow vs keypoint matching: what are the differences?光流与关键点匹配：有什么区别？
【发布时间】：2014-09-05 22:11:10
【问题描述】：

我花了几个月的时间研究和实验关键点检测、描述和匹配的过程。在上一期中，我还研究了增强现实背后的概念，即“无标记”识别和姿势估计。

幸运的是，我发现以前的概念仍然广泛用于此设置。以下是创建基本增强现实的常用管道，无需详细介绍每种所需算法：

在捕捉视频时，每一帧...

获取一些关键点并创建它们的描述符

在这些点与之前保存的“标记”（如照片）内的点之间找到一些匹配项

如果匹配足够，估计可见对象的姿势并玩弄它

也就是说，一个非常简化的过程，例如，this student(?) project。

现在的问题是：在我的个人研究中，我还发现了另一种称为“光流”的方法。我还处于研究的开始阶段，但首先我想知道它与以前的方法有多大不同。具体来说：

感谢您的合作。

【问题讨论】：

【解决方案1】：

光流（OF）是围绕所谓的“亮度恒定假设”的方法。您假设像素 - 更具体地说，它们的强度（最多一些增量） - 没有改变，只是移动。你会找到这个方程的解： I(x,y,t) = I(x+dx, y+dy, t+dt)。

裁缝系列的第一个订单是： I(x + dx, y+dy, t+ dt) = I (x,y,t) + I_x * dx + I_y * dy + I_t * dt。

然后你求解这个方程，得到每个像素的 dx 和 dy - 偏移。

光流主要用于tracking和odometry。

upd.：如果不是应用于整个图像，而是应用于补丁，光流几乎与Lucas-Kanade-Tomashi tracker相同。

此方法与基于特征的方法之间的区别在于密度。对于特征点，您通常只会得到特征点位置的差异，而光流会为整个图像估计它。

缺点是 vanilla OF 仅适用于小排量。对于较大的图像，可以缩小图像并在其上计算 OF - “粗到细”方法。

可以将“亮度恒定假设”更改为，即“描述符恒定假设”并求解相同的方程，但使用描述符值而不是原始强度。 SIFT flow 就是一个例子。

很遗憾，我对增强现实商业解决方案了解不多，无法回答最后一个问题。

【讨论】：

感谢您的解释。所以主要区别可能在于搜索方法，密集或稀疏。无论如何，我想还有一些“混合”方法可以提高结果的质量。对我来说，一个非常有用的事情可能是回答最后一个问题，关于商业解决方案......但显然，当有人询问他们的内部算法时，公司会三思而后行:)
这个答案不正确的地方： 1. 光流不是基于亮度恒定性假设，尽管大多数经典方法都是从那里开始的。 2.光流不主要用于跟踪和测距，它有很多用途，如视频压缩、插值、行人检测等。除此之外，还有一些优点
@StefanKarlsson 确实，当前的 OF 方法是基于深度 CNN 的，不再基于亮度恒定性假设。但正如你所说，它从那里开始。关于使用，确实应用范围很广，我也不是很了解。
@old-ufo 你不需要去深度学习去寻找不基于亮度恒定性的方法。甚至早于 Lucas-Kanade 和 Horn 和 Schunk 的经典方法都不是基于它。简单的基于相关块的匹配，具有适当的归一化是密集的光流，并且不依赖于亮度恒定性。那些早期方法的表现优于 HS 和 LK，但仍然如此。请注意，确实存在一些更新的非常棒的基于块的匹配算法

【解决方案2】：

光流计算速度较慢，而检测速度最近的发展已经很多。增强现实商业解决方案需要实时性能。因此，很难应用基于光流的技术（除非您使用好的 GPU）。 AR 系统主要使用基于特征的技术。大多数时候，他们的目标是了解场景的 3D 几何形状，这可以通过一组点进行稳健估计。 old-ufo 已经提到了其他差异。

【讨论】：