【问题标题】:How do Amazon iOS application live search a product?Amazon iOS 应用程序如何实时搜索产品?
【发布时间】:2019-05-08 15:33:44
【问题描述】:

我很想知道亚马逊 iOS 应用程序如何允许在实时模式下搜索产品:

Demo

应用程序大小为 100MB+,这似乎是该应用程序嵌入了机器学习模型。由于用户的数据成本和使用服务器的延迟,他们在使用实时模式方法时将图片数据发送到服务器进行分析似乎也是不可想象的。

在搜索过程中,您可以看到一些代表形状/文本/表面/最近对象的点,这是使用 ARKIT 启用的吗?

如果是,它仅用于特征点动画还是对帮助获得正确的对象有真正的影响?

如果没有,他们是如何做到这一点的?出于什么原因?

任何让我看得更清楚或寻找新方法的帮助将不胜感激。

【问题讨论】:

    标签: ios machine-learning computer-vision augmented-reality arkit


    【解决方案1】:

    对于 AR/VR 用户体验,亚马逊使用 Sumerian。它与平台无关。 Sumerian 建立在开放的网络标准之上,支持 Apple ARKit(适用于 iOS 应用)和 Google ARCore(适用于 Android 和 iOS 应用,以及用于开发的网络),这意味着应用创建者可以构建一个在 Android、iOS、Oculus Go、Oculus Rift、HTC Vive、HTC Vive Pro、Google Daydream 和联想 Mirage 上运行的 Sumerian 应用程序。

    无需 AR/VR 专业知识! Amazon Sumerian 允许任何人创建 AR/VR 应用程序。您无需专门的编程或 3D 图形专业知识即可开始使用。您可以使用 Sumerian 编辑器通过 Web 浏览器创建、编辑和发布应用程序。 Sumerian 有一个拖放式应用编辑器和 3D 对象库,它的 Visual State Machine 用于编写复杂的自动化场景的脚本,并进入了创建 AI 主机的过程,您可以在这些虚拟体验中进行完整的对话。

    触及您的下一个问题:ARKit 和 ARCore 框架专为使用 6DOF 进行相机跟踪而设计。任何正在运行的 ARSession(不管是在 ARKit 中还是在 ARCore 中)都有一个会话的配置类来管理跟踪过程的所有内容,包括您在视频中看到的特征点。阅读 ARKit 的 ARWorldTrackingConfigurationARImageTrackingConfiguration。另请阅读 ARCore 的Augmented Images

    除了 3D 跟踪之外,还有图像识别(也称为图像检测)技术。视频中的对象在 AWS 云计算上进行处理(有足够的能力在几毫秒内利用 Amazon AI 算法)。

    希望这会有所帮助。

    【讨论】:

    • 感谢您的宝贵而详细的回答。如果我拿你的最后一段。您认为他们正在捕获每一帧或其中的一部分(每秒 1 个)并将其发送到 AWS?应用程序中没有进行任何机器学习?
    • ARKit 默认捕获 60 fps,ARCore – 30 fps(目前)。当然,您(以及亚马逊开发人员)可以将帧速率降低到 5 fps 甚至 1 fps(尽管 1 fps 无效)。亚马逊使用自己的云计算。因此,所有 ML 都在云中完成。在这种情况下,链条中最薄弱的环节是互联网速度。
    • 太棒了,我明白你的意思了,我现在看到了方法。非常感谢
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-01-17
    • 2020-09-14
    • 2020-04-29
    相关资源
    最近更新 更多