如何在 Camera View android 中的墙壁上绘画？

Question

我正在尝试在我的相机视图中绘制墙壁。谁能告诉我应该从哪里开始，任何可以为我指明正确方向的图书馆或有用的东西。

我知道这很困难，但我需要一些指导来继续我的工作。目前我只尝试使用VuForia，但我不知道我们如何将它与墙壁识别一起使用并在增强现实的墙壁上绘画。

以下是所需的结果：

Answer 1

正如您所说，回答您的问题并不容易，因为有多种解决方案可以实现您想要的。

我认为您应该阅读有关对象检测的内容，尤其是有关卷积神经网络 (CNN) 的内容。检测任务的好库可能是OpenCV 和谷歌Tensorflow。 Googles Mobile Vision API 中的示例还可以向您展示如何从相机获取实时信息并管理将其与您的画作叠加。 This 示例我个人发现对于查看在何处/如何实现检测器以及图形覆盖非常有帮助，即使它用于文本识别。最后here 你有Android Tensorflow 演示。

但尽管看起来很容易，但仍有很长的路要走。对于这种使用 Tensorflow 的实现，您需要...

1. 收集带有墙壁和非墙壁的示例图像；）
2. 考虑预处理，例如重新缩放、灰度和过滤并实现它
3. 为您的 CNN 模型编写和调整 Python 代码
4. 使用 Python 训练和评估您的模型
5. 将您的模型移植到 Android
6. 在适当的区域上漆

我能想到的另一种方法是使用Edge Detection 和Hough Line Transform，但我建议您使用神经网络，因为结果可能更好，Tensorflow（移动或 Lite）已经针对 Android 进行了优化，而且它是尖端技术； )

希望这会有所帮助！