创建 Android - 控制器 - SteamVr 通信

Question

我正在尝试做的是： 我的智能手机将其方向（陀螺仪、加速度和磁力的融合）发送到控制器，控制器进一步处理数据以使其可供 SteamVr 访问，而 SteamVr 又应将我想要发送回智能手机的帧发送给我。

到目前为止我取得的成就： 我实现了一个基本的 android 程序，它已经捕获了它的方向，将它打包成一个 UDP 数据报并将它发送到给定的 IP 地址。

我编写了一个小型 Java 程序来验证它的功能，它已经可以工作了。

现在我想进入第 2 步：将此数据提供给 SteamVr。 现在我不在乎将视频流式传输回 android。

假设我想使用 C# 或 Java 等高级语言，有人可以帮我吗？我可以为此使用 OpenVr 吗？如果是，如何？ （这没有很好的记录）。

编辑：

我有一个临时解决方案。我将使用 FreePie 通过 UDP 向 OpenTrack 发送方向（我已修改 FreePie.apk 以使结果更加平滑）。 OpenTrack 通过 UDP 将其发送到 localhost。

我必须修改 SteamVr 以使用 Null-Driver 才能接受 不存在的头显。

HeadTracking 和通过 Moonlight 进行流式传输效果很好，但现在 还有一个问题： 当 SteamVR 启动全屏 HMD 显示窗口时，我不能 对任何游戏使用常规输入。

游戏通常在一个单独的窗口中启动，该窗口接受 在 HMD 显示 VR 体验时输入。 现在，VR-Window 有一个大问题。 当不在焦点上时，它既不显示也不接受来自 OpenTrack 的输入。 这意味着没有视频，没有头部跟踪。 有些游戏以 VR 模式启动，所以我可以使用 此窗口获取键盘输入和视频，但随后禁用了头部跟踪， 如前所述。

简而言之： - FreePie -> OpenTrack -> SteamVR NULL-Driver - 月光 -> 安卓 适用于所有不需要输入的东西

这里唯一的解决方案是： 第二显示。 - 将第二个显示设置为主。 - 将所有内容移至第二个扩展显示器 - 启动 steamVR（将在 2nd Display 中打开）， - 开始游戏。 现在，当焦点切换到 VR-Window 时，它会突然出现 在主要插入显示器的 PC 上（仅使用笔记本电脑 + 电视对其进行了测试）。 所以 Moonlight 将在第二个（当前主）屏幕焦点时捕获视频 在 GameWindow 上捕获输入。

我的新问题是： 如何解决对第二个显示器的需求？

Answer 1

好的。这是我的解决方案和指南：

如何将您的 Android 智能手机用作 SteamVr 的 VR-HMD

你需要什么：

硬件：

• 2 部智能手机（1 部用于 VR 的智能手机，一款便宜的，平板电脑也可以）
• 支持 Nvidia GameStream 的 PC 具有足够的 VR 功能

软件：

• SteamVr
• OpenVr-OpenTrack (https://github.com/r57zone/OpenVR-OpenTrack)
• OpenTrack 2.3-rc20（我选择这个是因为只有可解压的 zip 适合我）
• 适用于 Android 的 FreePIE IMU apk（已在 OpenTrack 文件夹中）
• 适用于 Windows 和 Android 的 Spacedesk
• Android 版月光

如何：

• 安装 Steam 和 SteamVR（以及您想玩的任何游戏）
• 安装 OpenVR-OpenTrack（按照页面上的指南）
• 安装 OpenTrack
• 在 Android 手机上为 VR 安装 FreePIE IMU
• 在适用于 VR 的 Android 手机上安装 Moonlight

现在确保 VR-Phone 和您的 PC 在同一个网络中。 在 OpenTrack 中设置：

Tracker -> 间距 +180 的 FreePIE UDP 接收器。 将端口设置为与 FreePIE Android App 中的相同

协议 -> UDP 接收器 IP：127.0.0.1 端口：4242

如果您启动 FreePIE 应用程序和 OpenTrack，您应该会看到它工作正常。

接下来的步骤：

• 在 Windows 和廉价手机上安装 Spacedesk
• 连接两者。
• 在 PC 上设置为扩展显示。

• 将第二个显示器设置为主显示器

• 现在启动 SteamVR 和您的游戏（游戏应处于窗口模式）。

• 将游戏窗口移至第二个（主）显示屏（如果尚未）。
• 关注 SteamVR-Window（现在应该是红色/黑色的那个）
• 点击进入屏幕。

该窗口现在应该显示在您的 PC 显示器上，而 游戏本身仍保留在 Android 显示器上。

• 点击聚焦在游戏窗口上。
• 在您的 VR 手机上启动 Moonlight 并启动桌面 （有关如何流式传输桌面的教程，请使用 google）

您已准备好开始游戏。 当您的 PC 显示器显示 VR-Window 时，它将 显示内容并接受 Android 方向。 当扩展（主）监视器显示游戏窗口时， 游戏将接受控制器/键盘/鼠标输入。

是的，这是一项非常耗时的工作，而且 prolly 会给你带来压力 (W) 兰。 如果您有一个备用显示器，您也可以使用第二台物理显示器来执行此操作，这将减少路由器上的流量。

在 WarThunder 和 Project CARS Pagani 版本中进行了尝试，它成功了！