PARABOLIC（不是全景）视频拼接？答案

【问题标题】：PARABOLIC (not panoramic) video stitching?PARABOLIC（不是全景）视频拼接？
【发布时间】：2014-03-21 01:41:35
【问题描述】：

我想做类似this 之类的事情，但要反过来——这样摄像头就在外面，指向里面。让我们先从抽象开始，再具体一点：

1) 是否有任何工具可以为我做到这一点？使用现有软件可以接近多远？

2) 假设最近的工具是 OpenCV 之类的图形库。我学过线性代数，并拥有计算机科学本科学位，但没有任何图形方面的特殊培训。我应该从那里去哪里？

3) 如果我真的经历了长达十年的精神追求，即自学+编程练习以实现这一目标，您是否知道有任何论文或其他资源可能对我有所帮助？

【问题讨论】：

试图根据演示进行澄清（花了我一分钟时间看到“拖到这里”的东西）。您想要在中心移动物体的效果吗？换句话说，您正在寻找一个对象的“全息”渲染，方法是用相机包围它，然后从任意角度合成它的样子。从数学上讲，除非您对解决方案施加一些限制，否则当您拥有有限数量的相机时，我不确定是否有确切的解决方案-因为无法获得“来自不存在的相机的视图”。
是的，“全息”，就像移动的物体电影。我想在我拥有的相机之间缝合，我会以弧形放置。所以我什至不一定有垂直运动，或者完全包围场景

【解决方案1】：

我认为您链接的演示使用 360° 相机（见底部的黑色圆圈）并且不涉及任何拼接。

关于您的问题，您知道this 工作吗？他们也不做拼接，只是在不同的视图之间混合。

如果您使用向内视图，那么您将观察到的对象可能会非常靠近相机，而标准拼接假定对象很远。当您更改视点（即视差和遮挡）时，关闭的 3D 对象意味着高失真，这使得在两个视图之间进行插值变得困难。因此，如果您想要拼接，那么您的主要问题是正确处理视图之间的视差效果和遮挡。

在我看来，最有希望的方法是在最接近您当前视点的两个相机图像之间进行实时立体匹配（即密集 3D 重建），然后对估计的差异进行插值以生成预期图像。但是，它不太可能实时运行，正如您链接的演示中所展示的那样，结果可能非常难看......

编辑

您还可以查看this paper，它使用了一种不同但有趣的方法，但在您的情况下可能没有直接用处，因为它要求新视点在可用图像中可见。

【讨论】：

我同意进行 3D（表面）重建，然后从任何其他角度渲染对象，这可能是您最好的选择。渲染可以使用 GPU 加速实时完成，假设表面渲染不太密集（相机数量有限，它不可能）。