机器学习：关于处理 RGBD 流和相关组件的问题

Question

我想在英特尔实感或 Orbbec Astra 相机的对齐 RGB 和深度流上试验机器学习（尤其是 CNN）。我的目标是进行一些对象识别并在输出视频流中突出显示/标记它们（作为起点）。

但是在阅读了很多文章之后，我仍然对所涉及的框架以及数据如何从相机通过所涉及的软件组件流动感到困惑。我只是无法获得高级别的图片。

这是我对处理流程的假设：

传感器 => 驱动程序 => libRealSense / Astra SDK => TensorFlow

问题

• 我对处理的假设是否正确？
• Orbbec 提供了一个额外的Astra OpenNI SDK 除了Astra SDK，因为英特尔为OpenCV 和OpenNI 提供了包装器(?)。我何时或为什么需要这些额外的库/支持？
• 最快的入门方法是什么？我更喜欢 C# 而不是 C++

Answer 1

• 您的假设是正确的：数据采集流程是：sensor -> driver -> camera library -> other libraries built on top of it（请参阅英特尔实感的 OpenCV 支持）-> captured image. 获得图像后，当然可以为所欲为。
• 各种库使您可以轻松地使用该设备。特别是，使用英特尔实感支持编译的 OpenCV 允许您使用 OpenCV 标准数据采集流，而无需担心来自传感器并由英特尔库使用的图像格式。 10/10 使用这些库，它们让您的生活更轻松。
• 您可以从英特尔实感 (https://github.com/IntelRealSense/librealsense/tree/master/wrappers/opencv) 的 OpenCV 包装文档开始。一旦您能够捕获 RGBD 图像，您就可以使用 tf.data 为您的模型创建输入管道，并在 tensorflow 中开发任何在 RGDB 图像上使用 CNN 的应用程序（只需 google 并查看 arxiv 以了解可能的应用程序)。

一旦您的模型经过训练，只需导出经过训练的图并将其用于推理，因此您的管道将变为：sensor -> driver -> camera library -> libs -> RGBD image -> trained model -> model output