是否可以在平面外显示 3d 对象且无需点击？

Question

我正在开发一个能够识别文本的 Android 应用（使用 Google Vision 进行）。

我的目标是在 AR（我正在使用 ARcore）矩形与字符序列相对应时将识别的文本包装起来。 我面临的问题是我要识别的文本位于一小块金属上。 这使得无法在其上检测到平面 ---> 无法放置 3D 矩形。

我想知道是否可以使用从检测到的文本中获得的坐标（我得到 4 个角点或 getboundingbox()），是否可以在金属物品上创建自定义平面以显示我的矩形。

我已经尝试了不同的方法，但我做不到。

ArFragment fragment;

 Session session = fragment.getArSceneView().getSession();
                float[] pos = {0, 0, -1};
                float[] rotation = {0, 0, 0, 1};
                Anchor anchor = session.createAnchor(new Pose(pos, rotation));
                placeObject(fragment, anchor, Uri.parse("model.sfb"));


private void placeObject(ArFragment arFragment, Anchor anchor, Uri uri) {
        ModelRenderable.builder()
                .setSource(arFragment.getContext(), uri)
                .build()
                .thenAccept(modelRenderable -> addNodeToScene(arFragment, anchor, modelRenderable))
                .exceptionally(throwable -> {
                            Toast.makeText(arFragment.getContext(), "Error:" + throwable.getMessage(), Toast.LENGTH_LONG).show();
                            return null;
                        }
                );
    }


private void addNodeToScene(ArFragment arFragment, Anchor anchor, ModelRenderable renderable) {
        AnchorNode anchorNode = new AnchorNode(anchor);
        TransformableNode node = new TransformableNode(arFragment.getTransformationSystem());
        node.setRenderable(renderable);
        node.setParent(anchorNode);
        arFragment.getArSceneView().getScene().addChild(anchorNode);
        node.select();
    }

Answer 1

我相信 ARCore 会让您访问它跟踪的特征点（例如，如果使用 Unreal，请参阅 https://developers.google.com/ar/reference/unreal/arcore/blueprint/Get_All_Trackable_Points）。您可以在从检测到的文本中获得的坐标定义的图像区域内搜索 ARCore 跟踪的特征点。我相信你可以得到跟踪点的位姿，但我不确定如果没有足够的特征点来推断平面的存在，位姿的方向片是否会有很高的置信度。