动画面部图像 - 使用翘曲？答案

【问题标题】：Animate face image - using warping?动画面部图像 - 使用翘曲？
【发布时间】：2013-09-01 10:21:26
【问题描述】：

我打算在 android 和 Iphone 中做类似下面的应用程序。

http://www.motionportrait.com/en/technology/

http://www.youtube.com/watch?v=P-mBdV3icMY

我尝试了什么？

1) 我尝试了图像变形技术来制作表情，我已经达到了不错的准确性。这是result image。

2) 我也尝试过 opengl+Texture 映射，但我无法获得更好的准确性。

我在哪里卡住了？

我在面部旋转之类的一些事情上并不成功。

有人可以指导我了解此应用程序背后使用的技术，以及如何从这里进一步前进吗？

输入：我的应用程序的输入是 2D 正面图像。

预期输出：旋转的面部和面部表情。

【问题讨论】：

粘贴你尝试过的内容
@boburShox 我不能发布两个以上的链接。在这里，您可以查看我使用翘曲技术snag.gy/GkfjV.jpg 尝试过的结果
@boburShox 你有cmets吗？你让我发布我尝试过的内容。
@user2727765 ：您好，我正在寻找可以在 Virtual Make Over 应用程序中使用的图像变形/变形来拉伸脸上的头发。你能告诉我你是如何达到你的第一点（图像变形技术）的吗？

标签： android ios opencv image-processing 3d

【解决方案1】：

据我所知，要进行旋转，您应该有头部的参数 (3D) 模型（20-100 个参数）。获得这个模型是项目中最难的部分。通常你会得到大约 1000 次 3d 头部扫描，然后对它们应用 PCA，以获得参数。用户拍照后，您可以评估此模型的参数（对其进行变形）。现在您有了用户的 3D 头部模型和纹理模型的正面视图。您所要做的就是将照片投影到这个模型上并获取您的纹理。例如，用开放皮肤的纹理图案填充的未知区域。

【讨论】：

感谢您的回复。您是否有任何示例代码或链接可以让我获得详细说明？
这与普通的 AAM（Active Appearance Models）非常相似，但在形状模型中添加了第三维。您可以在“Mastering OpenCV with Practical Computer Vision Projects”一书中阅读有关 AAM/AAM 的信息，github 上还有一个开源存储库：github.com/MasteringOpenCV/code。另请查看 vosm 库：visionopen.com/downloads/open-source-software/vosm 但这些项目是 2D 的，您应该向它们添加 3rd dim。也看看 2.5d AAM，web 上有一些论文。

【解决方案2】：

可能您需要获得一系列具有不同面部反应的图像。然后以较短的动画持续时间对图像进行动画处理，以使它们感觉像是真实的。或许您可以阅读有关 iPhone 中用于 mouseHover 效果的传感器和触摸的信息。

【讨论】：

我的问题是如何在我的应用程序中从技术上实现人脸旋转？此应用程序的输入是一张人脸图像，结果将是一张动画人脸。
我再次建议您获取一组图像，其中您有 frontview、backview ，即图像的所有方向。要将其向左旋转，您可以通过将当前图像更改为 leftViews 图像来将图像更改为左视图，而 leftViews 图像会以较短的动画持续时间偏离路线。我希望我对您有意义。
很抱歉您没有理解我的问题。我的问题是如何将正面图像制作为“左视图”？我的应用程序的输入只是正面图像。我需要从正面生成“左视图”图像。