【问题标题】:ARKit detect house exterior planesARKit 检测房屋外平面
【发布时间】:2020-04-09 20:56:55
【问题描述】:

我知道 ARKit 能够在 A12+ 处理器上检测和分类飞机。它在房子内部做得相当好,但是外面呢?如果我在房子周围移动一点,它是否能够检测到门窗?我自己试了一下,结果并没有让我满意:我在大楼里走动太多了,ARKit 仍然无法区分墙壁和窗户。

我使用这里的应用程序进行测试:https://developer.apple.com/documentation/arkit/tracking_and_visualizing_planes 我做的一切都正确吗?也许有一些第三方库可以更好地检测房屋零件?

提前致谢!

【问题讨论】:

    标签: augmented-reality arkit


    【解决方案1】:

    当您在室外测试示例应用并尝试使用 ARKit 检测房屋外部的表面时,它不起作用。 ARKit 用于映射平面及其方向(水平/垂直)。这意味着 ARKit 可以理解表面是平坦的,可以是墙壁或地板。当您尝试“映射”房屋的外部时,ARKit 只会将水平表面检测为墙壁,它无法区分墙壁和窗户。

    您需要开发/获取一个 AI 模型并使用 CoreML 针对摄像头数据运行它,以使您的应用能够区分房屋外部的窗户和墙壁。

    ARKit Plane 跟踪文档供参考:https://developer.apple.com/documentation/arkit/tracking_and_visualizing_planes

    几篇关于使用 CoreML 的 ARKit 的文章
    https://www.rightpoint.com/rplabs/dev/arkit-and-coreml https://medium.com/s23nyc-tech/using-machine-learning-and-coreml-to-control-arkit-24241c894e3b

    [更新]
    是的,您是正确的,对于 A12+ 设备,Apple 确实允许进行平面分类。我认为外窗与内窗的问题要么是到窗户的距离(CV 无法正确分类),要么苹果已经针对内窗与外窗进行了更多调整。差异可能看起来微不足道,但对于 CV 算法来说却大不相同。

    【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-09-11
    • 2017-11-09
    • 2018-10-20
    • 1970-01-01
    • 2017-10-18
    相关资源
    最近更新 更多