2D 绘图的增强现实 3D 模型答案

【问题标题】：Augmented reality 3D model from 2D plot2D 绘图的增强现实 3D 模型
【发布时间】：2013-02-23 15:42:47
【问题描述】：

我在 Google Play 上找到了一个有趣的 app，请在 YouTube 上查看此演示。有人可以建议如何做这个魔术吗？有什么共同的原则、技术、库吗？

【问题讨论】：

标签： 3d 2d augmented-reality

【解决方案1】：

您可能希望从阅读Camera Resectioning 开始。

非常简单地说，它是估计相机镜头执行的（非线性）投影中涉及的参数的过程。从透视投影中，您可能已经知道 R（旋转）和 T（平移）。此外，还有其他一些因素，例如进入变换的镜头失真，需要计算（或从相机/手机的品牌/型号中计算出来）。

打印图像中某些特征的位置可用于估计这些参数。一旦知道它们，只需将其用作您的 ModelViewProjection 矩阵并渲染您的汽车/宇宙飞船/龙。

【讨论】：

【解决方案2】：

我并不特别了解这个应用程序，但它肯定无法从这些图纸中重建出一个完美的包含内饰和发动机的 3D 几何汽车模型。

查看应用程序网页，似乎只有有限的汽车可以下载和打印自己：该应用程序仅识别是哪张图纸（这是简单的机器学习和图像处理），加载一个预制的 3D 模型，并显示它。通过估计相机的外在参数和内在参数来使显示器稳定，这可以通过点对应来完成（这并不容易，因为它们只拍摄一个平面表面，只允许恢复单应性），但可以尝试使用OpenCV。

【讨论】：

【解决方案3】：

我找到了适用于 Android 平台的 Andar 库，它与视频中显示的完全一样

另外一个库NyARToolKit原来ARToolKit的Java端口

【讨论】：

这些甚至更容易一些，因为它们直接使用 QR 码（或类似的）来识别需要显示的内容而不是绘图；）