如何将 3D 元素添加到 Hololens 2 视野中

Question

我正在尝试使用 Hololens 2 为大学构建远程协助解决方案，我已经设置了 MRTK WebRTC example with Unity。现在我想添加桌面对应的功能，能够在 Hololens 的视野中添加注释以支持远程指导，但我不知道如何实现。我正在考虑使用 Azure 空间锚点，但我还没有找到从 2D 桌面环境在 Hololens 的远程视野中添加 3D 元素的好例子。此外，我不确定 Spatial Anchors 是否是正确的框架，因为它们主要用于 AR 环境中的持久标记，我宁愿寻找临时的视觉指示器。 有没有人已经研究过这样的解决方案并且可以给我一些框架/提示从哪里开始？

Answer 1

要从 2D 图像中找到一个点的实际世界位置，您可以参考这个答案：https://stackoverflow.com/a/63225342/11502506

简而言之，cameraToWorldMatrix 和 projectionMatrix 变换为每个像素定义了 3D 空间中的一条射线，该射线表示产生该像素的光子所采用的路径。但是沿着特定光线的任何东西都会出现在同一个像素上。因此，要找到一个点的实际世界位置，您需要使用Physics.Raycast 方法来计算世界空间中光线撞击 SpatialMapping 的撞击点。