使用 Kinect v1 进行动作捕捉

Question

你好，我想知道是否有人可以帮助我

我最近一直在大学老师那里完成一项任务。我希望通过动作捕捉来实现这一点。

其他讲师的老师的声音艺术和电影艺术，所以我打算创建一个程序来跟踪参与者的动作并在屏幕上以以太组或随机颜色显示该动作。

我也想通过参与者的动作来使用这个项目的声音部分，但是通过运动改变噪音的音高或通过运动改变声音的速度。

我已经设法让 360 xbox Kinect 1414 进行处理，以及在运动跟踪方面发挥了什么作用，但似乎无法弄清楚如何将椭圆附加到手上。我希望有人能帮助我，这似乎不是什么地狱般的任务。

如果你能帮忙，这里是我的电子邮件地址 (alicebmcgettigan@gmail.com) （如果这是不可能的，我会理解的，因为我倾向于让自己生活困难哈哈）

Answer 1

您将需要一个可以从深度数据中提供骨架跟踪数据的中间件库。

Windows 上的一个选项是使用 Kinect SDK 的 Kinect for Windows 处理库。

还有一个名为 SimpleOpenNI 的库，它可以在多个操作系统上运行。 官方版本不再针对 Processing 3 进行更新（但适用于 Processing 2.2.1。）。幸运的是，您可以找到 SimpleOpenNI library on github 的更新分支

手动安装库：

1. 为您的 Processing 版本选择库版本（例如，对于 Processing 3.5.3，请转到 SimpleOpenni Processing_3.5.3）。它应该是 3.5.3、3.5.2、3.4、3.3.7、3.3.6 或 2.2.1 之一（否则您可以安装这些处理​​版本之一）
2. 点击克隆或下载>下载ZIP（在repo的右上角）
3. 解压并在文件夹中选择 SimpleOpenNI 文件夹，其中包含一个名为 library 的文件夹：
4. 将这个嵌套的 SimpleOpenNI 文件夹（包含库文件夹）移动到 Documents/Processing/libraries
5. 重新启动处理（如果它已经在运行）
6. 转到处理 > 示例 > 贡献库 > SimpleOpenNI > OpenNI 并开始使用示例

其他说明：

• 从 User 和 User3d 示例开始跟踪用户
• 注意context.getCoM() 返回质心：单个点，而context.getJointPositionSkeleton() 可以在 3D 中获取手的位置
• 您可以使用context.convertRealWorldToProjective() 将屏幕上的 3D 位置转换为项目 2D 位置
• 一旦骨骼跟踪锁定到一个人，您就可以获得每只手的关节位置，但值得注意的是，有一个单独的手部跟踪器功能：查看 Hands / Hands3d强>例子。根据您想要跟踪参与者的方式/环境是什么/动作是什么，选择最有效的选项
• 说到裸露的环境，Xbox 360 kinect 容易受到红外光干扰（例如明亮的白炽灯、直射阳光等）：这会降低深度图质量，进而影响骨骼跟踪。您会希望尽可能多地控制照明并拥有理想的照明条件。
• 测试！测试 ！测试 ！ :) 考虑交互和环境（首先在纸上画草图很有用），为每个假设运行一个基本测试来证明它是否有效。使用迭代来了解如何更改环境或交互以使其发挥作用。
• 查看 RecorderPlay 示例：它记录了一个包含 RGB 和深度数据的 .oni 文件。这非常有用，因为它允许您在您可能访问时间有限的区域进行现场录制，并且可以节省您的时间，而不必在您的计算机和 kinect 前面来回走动。 （使用 .oni 文件的路径初始化 SimpleOpenNI 后（例如context = new SimpleOpenNI(this,recordPath);)，您可以运行骨架跟踪以及使用记录进行的所有操作

如果您想了解更多有关 Kinect 和处理的信息，请查看 Daniel Shiffman's Getting started with Kinect and Processing 页面

玩得开心！