我们正在使用 kinect 和 opencv 做一个项目。我对 3D 分析完全陌生。主要目的是从kinect中获取深度和rgb信息，处理rgb mat（基本过滤和阈值函数）并将处理后的rgb图像与原始深度信息相结合。我需要基本步骤来使用合适的应用程序（opencv、opengl、openni、kinect sdk 等）
1）如何将kinect的深度和rgb信息传递给opencv？
2）我们可以单独访问rgb图像来处理它吗？
3）如何将两者结合起来，用什么函数来显示输出？
我们使用 windows-64 位和 kinect 作为 3D 传感器。我们计划使用OpenNI获取图像的rgb和深度信息，然后在OpenCV中处理rgb，然后在OpenGL的帮助下在窗口中显示图像（处理后的RGB+深度）。
【问题讨论】：
标签： opencv opengl image-processing kinect openni
首先，我认为您的问题太笼统了，这取决于您使用的库/驱动程序...例如，如果您使用 openni，那么您以一种方式传递信息，如果您使用 kinect sdk将不得不使用另一种方法...
2) 是的，您可以独立于深度信息访问 RGB 图像并对其进行处理...
3) 将两者结合起来，我想你的意思是深度和 rgb。这也取决于您使用的库和驱动程序。还有你想要存储它的方式，例如点云、图像等
我的建议是准确定义您想要实现的目标、使用哪些库以及在哪个操作系统中，然后编辑您的问题。
我使用 openni2、opencv 和 Qt 创建了一个工具，我只在 linux 中使用 primesense 摄像头和 structure.io 摄像头进行了测试，但您可能对具体要做什么有所了解。这个工具可以做一些基本的阈值处理并以不同的格式（pcd、图像、oni）保存数据。 Link
我也用了几乎相同的方法，openni1和Avin的驱动和一个Kinect1摄像头，周三我可以上传代码，你可以看看，但基本上是一样的，只是初始化有点变化。
作为处理 RGB-D 图像时应该做的事情的基本清单：
你也可以看看点云库，他们有一个很好的包装器可以完成这项工作，然后很容易将它变成一个点云。
希望这些信息对您有所帮助。
更新： 对于 Windows 中的 Kinect 1，可以安装最新的 Kinect SDK 并使用 openni2，而无需安装额外的驱动程序。
如果到这里为止一切都很好，那么你只需要：
如果您对任何步骤有疑问，我可以给您代码 sn-ps，只需提出一个新问题，我会回答。
希望对你有帮助
【讨论】：