从图像中检测和分离单个未知对象（计算机视觉）答案

【问题标题】：detecting and separating individual unknown objects from an image (computer vision)从图像中检测和分离单个未知对象（计算机视觉）
【发布时间】：2013-12-20 13:51:36
【问题描述】：

所以，我正在寻找解决此问题的最佳方法，我想拍摄像房间这样的东西的 2d 图像，周围散布着随机物体，并且能够检测每个单独的物体并将其与一个物体分开其他。

*程序不知道任何对象，这不是对象识别，不涉及识别代码。程序不会知道这些对象中的任何一个是什么或如何识别它们，只知道它们不是相同的对象（即使有 2 个相同的对象彼此靠近）

*另一件事是我试图将每个组件彼此区分开来，即使它是另一个对象的子部分；即：不是试图检测整个灯与桌子分开，而是灯泡，灯杆和电线与灯分开。我喜欢检测尽可能多的单独对象

我希望在 SURF、边缘检测、RGB 匹配之间，这是可能的。但可能还需要使用 kinect 的红外传感器进行 3D 重建和深度查找，以帮助分离物体

*我认为，如果存在纹理检测，可能对区分对象有很大帮助。

1) 这可能吗？
2) 需要哪些工具/程序？
3) 解决这个问题的策略？
4) 解决方案是否已经存在？

注意：我将 vs2010 与 opencv 和 kinect 一起使用

【问题讨论】：

这个问题是非约束性的。如果您对对象一无所知，您如何知道特定特征检测器是否有用？
不确定我是否理解评论。我不想根据它们是否是一块固体来识别物体。 IE：带框架的图片是一件，但我希望框架被检测为与其中的绘画不同。我还尝试使用特征检测器来告诉我材料的主要差异，例如纹理、颜色和形状，以期建立一个置信度指数来判断两个感知对象不同的可能性有多大。我不希望将白墙的图像视为 2 个对象，因为它的一半上有阴影，但它仍然可以工作

标签： c++ opencv computer-vision kinect image-recognition

【解决方案1】：

1) 我会说这是不可能的。从计算机视觉的角度来看（没有 3D 深度信息），您可能想看看“格式塔心理学”问题 (http://en.wikipedia.org/wiki/Gestalt_psychology)，您可以看到在非常简单的图像中已经发现了很多歧义。在没有（甚至经常有）任何背景知识的情况下分析现实世界的场景要糟糕得多。有时甚至人类也无法区分看到一两个物体和/或这取决于解释，您必须考虑到人类有多年的经验和大量的背景知识。

3) 你要做的是图像分割。在没有任何背景知识的情况下，我建议在深度图像和彩色/灰度图像上结合一些边缘检测（例如 Canny 边缘检测）。您将不得不对检测到的边缘进行分组（再次查看格式塔心理学）和/或提取轮廓，但最终您仍然远离检测所有对象和子对象。

【讨论】：

感谢您的意见。我预计需要深度/ 3d 重建，以及精巧的边缘检测。另一个问题是，比较环境周围物体的图像（视频）流是否会有所帮助
此外，出于我的目的，将 2 个单独的对象合并为一个的错误是不可接受的，但在一定程度上将应该是一个对象的错误拆分为多个部分仍然有效。（每张图片共有数百个）
例如：合并多个对象时总会出错。例如，如果您有一堆纸张，那是单个对象还是多个对象？一本书（由“一堆”纸张组成）呢？您可以尝试从视频流中进行 3D 重建（例如，看看 kinectFusion）并通过一些启发式方法拆分对象（因为对象不会在空中飞行，它们几乎都连接在一起），但有机会获得您似乎想要的我猜想要的很小。
kinectfusion 是我正在使用的。如果您想知道，我的目标是概述构成对象的组件并手动标记它们，以及为构成对象的多个组件提供单个标签。由于我将手动标记对象/组件，因此我可以选择最能代表的对象/组件，因此可以接受一定程度的不准确性
好的，这与我在您最初的帖子中看到的完全不同。您仍然需要从某种启发式方法中分离出来，然后手动将组件组合到一个对象中。启发式方法可能是将组件与长方体或球体分开。示例：s9.postimg.org/sd3ep63an/Object_Splitting.png 左图是 KinFu 重构后的典型情况（侧面看）。检测平面/质心并拆分突出的部分并将其解释为对象/组件（黑色平面，蓝色“对象”）。应该是一个非常开放的话题（猜想）也许值得一篇论文

【解决方案2】：

尝试在对象的每个边界框上运行活动轮廓。

【讨论】：