从边缘检测器输出中修剪短线段？答案

【问题标题】：Pruning short line segments from edge detector output?从边缘检测器输出中修剪短线段？
【发布时间】：2010-11-30 12:45:38
【问题描述】：

我正在寻找一种算法来从边缘检测器的输出中修剪短线段。从下面的图像（和链接）中可以看出，检测到几个不是“长”线的小边缘。理想情况下，我希望在处理后只显示四边形的 4 个边，但如果有几条杂散线，那也没什么大不了的……有什么建议吗？

Image Link

【问题讨论】：

您只在寻找矩形吗？

标签： c algorithm image-processing computer-vision

【解决方案1】：

我怀疑这可以通过简单的本地操作来完成。查看您要保留的矩形 - 有几个间隙，因此执行局部操作以删除短线段可能会严重降低所需输出的质量。

因此，我会尝试通过缩小间隙、拟合多边形或类似的方式将矩形检测为重要内容，然后在第二步中丢弃剩余的不重要内容。 Hough transform 可能会有所帮助。

更新

我刚刚使用这个sample application 对您的示例图像进行了内核霍夫变换，并得到了适合您的矩形的四条漂亮的线条。

【讨论】：

+1 用于建议 Hough 变换。只需在变换空间中找到四个最强的峰值，这就是你的四边形。

【解决方案2】：

在找到边缘之前，使用 open 或 close 操作（或两者）对图像进行预处理，即 erode 后跟dilate，或 dilate 后跟 erode。这应该删除较小的对象，但保留较大的对象大致相同。

我在网上找了一些例子，我能找到的最好的例子是在this PDF 的第 41 页。

【讨论】：

看示例图。矩形的边缘轮廓只有 1 个像素薄！如果你先腐蚀，你将完全失去矩形以及小边缘。如果先扩张，可能会缩小大矩形中的一些间隙，但这是一个不同的问题，并不能真正帮助您消除小边缘。
@Levy - 不，正如我在回答中明确指出的那样，在找到边缘之前应该关闭图像。当然，这不应该应用于边缘（而是应用于计算边缘的对象）。
@tom10 - 感谢您的建议，我切换到打开操作（替换高斯滤波器）并且我得到了更好的 Canny 边缘检测输出（关闭操作也可以带来更好的性能）。我曾想过使用腐蚀/膨胀，但我正在考虑在边缘检测之后使用，这不适用于细线。

【解决方案3】：

霍夫变换可能是一项非常昂贵的操作。

您的情况可能会很好的替代方法如下：

分别使用水平和垂直线（由测试确定的给定长度）结构元素运行 2 个称为图像关闭 (http://homepages.inf.ed.ac.uk/rbf/HIPR2/close.htm) 的数学形态学运算。这样做的目的是关闭大矩形中的所有间隙。
运行连通分量分析。如果你有效地完成了形态学，大矩形将作为一个连通分量出现。然后它只继续遍历所有连接的组件并挑选出最有可能的候选者，应该是大矩形。

【讨论】：

我会这样做。如果目标是找到大矩形的位置，请选择最大的组件。如果目标只是去除短边（噪声），则去除所有足够小的分量，或除最大分量之外的所有分量。

【解决方案4】：

也许找到连接的组件，然后删除小于 X 像素的组件（根据经验确定），然后沿水平/垂直线膨胀以重新连接矩形内的间隙

【讨论】：

【解决方案5】：

可以采用两种主要技术：

基于矢量的操作：将像素岛映射成簇（blob、voronoi 区域等）。然后应用一些启发式方法来纠正片段，例如 Teh-Chin 链近似算法，并对矢量元素（起点、终点、长度、方向等）进行修剪。
基于集合的操作：集群您的数据（如上）。对于每个集群，计算主成分并通过查找仅显示 1 个有效特征值的集群（或者如果您寻找可能类似于椭圆的“胖”段，则为 2 个）来从圆形或任何其他形状中检测线。检查与特征值关联的特征向量以获取有关 blob 方向的信息，然后做出选择。

使用 OpenCV 可以轻松探索这两种方法（实际上，前者属于算法的“轮廓分析”类别）。

【讨论】：

【解决方案6】：

如果有人踩到这个线程，OpenCV 2.x 会带来一个名为 squares.cpp 的示例，它基本上可以完成这个任务。

我对应用程序做了一点修改，以改进四边形

的检测

代码：

#include "highgui.h"
#include "cv.h"

#include <iostream>
#include <math.h>
#include <string.h>

using namespace cv;
using namespace std;

void help()
{
        cout <<
        "\nA program using pyramid scaling, Canny, contours, contour simpification and\n"
        "memory storage (it's got it all folks) to find\n"
        "squares in a list of images pic1-6.png\n"
        "Returns sequence of squares detected on the image.\n"
        "the sequence is stored in the specified memory storage\n"
        "Call:\n"
        "./squares\n"
    "Using OpenCV version %s\n" << CV_VERSION << "\n" << endl;
}

int thresh = 70, N = 2; 
const char* wndname = "Square Detection Demonized";

// helper function:
// finds a cosine of angle between vectors
// from pt0->pt1 and from pt0->pt2
double angle( Point pt1, Point pt2, Point pt0 )
{
    double dx1 = pt1.x - pt0.x;
    double dy1 = pt1.y - pt0.y;
    double dx2 = pt2.x - pt0.x;
    double dy2 = pt2.y - pt0.y;
    return (dx1*dx2 + dy1*dy2)/sqrt((dx1*dx1 + dy1*dy1)*(dx2*dx2 + dy2*dy2) + 1e-10);
}

// returns sequence of squares detected on the image.
// the sequence is stored in the specified memory storage
void findSquares( const Mat& image, vector<vector<Point> >& squares )
{
    squares.clear();

    Mat pyr, timg, gray0(image.size(), CV_8U), gray;

    // karlphillip: dilate the image so this technique can detect the white square,
    Mat out(image);
    dilate(out, out, Mat(), Point(-1,-1));
    // then blur it so that the ocean/sea become one big segment to avoid detecting them as 2 big squares.
    medianBlur(out, out, 3);

    // down-scale and upscale the image to filter out the noise
    pyrDown(out, pyr, Size(out.cols/2, out.rows/2));
    pyrUp(pyr, timg, out.size());
    vector<vector<Point> > contours;

    // find squares only in the first color plane
    for( int c = 0; c < 1; c++ ) // was: c < 3
    {
        int ch[] = {c, 0};
        mixChannels(&timg, 1, &gray0, 1, ch, 1);

        // try several threshold levels
        for( int l = 0; l < N; l++ )
        {
            // hack: use Canny instead of zero threshold level.
            // Canny helps to catch squares with gradient shading
            if( l == 0 )
            {
                // apply Canny. Take the upper threshold from slider
                // and set the lower to 0 (which forces edges merging)
                Canny(gray0, gray, 0, thresh, 5);
                // dilate canny output to remove potential
                // holes between edge segments
                dilate(gray, gray, Mat(), Point(-1,-1));
            }
            else
            {
                // apply threshold if l!=0:
                //     tgray(x,y) = gray(x,y) < (l+1)*255/N ? 255 : 0
                gray = gray0 >= (l+1)*255/N;
            }

            // find contours and store them all as a list
            findContours(gray, contours, CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE);

            vector<Point> approx;

            // test each contour
            for( size_t i = 0; i < contours.size(); i++ )
            {
                // approximate contour with accuracy proportional
                // to the contour perimeter
                approxPolyDP(Mat(contours[i]), approx, arcLength(Mat(contours[i]), true)*0.02, true);

                // square contours should have 4 vertices after approximation
                // relatively large area (to filter out noisy contours)
                // and be convex.
                // Note: absolute value of an area is used because
                // area may be positive or negative - in accordance with the
                // contour orientation
                if( approx.size() == 4 &&
                    fabs(contourArea(Mat(approx))) > 1000 &&
                    isContourConvex(Mat(approx)) )
                {
                    double maxCosine = 0;

                    for( int j = 2; j < 5; j++ )
                    {
                        // find the maximum cosine of the angle between joint edges
                        double cosine = fabs(angle(approx[j%4], approx[j-2], approx[j-1]));
                        maxCosine = MAX(maxCosine, cosine);
                    }

                    // if cosines of all angles are small
                    // (all angles are ~90 degree) then write quandrange
                    // vertices to resultant sequence
                    if( maxCosine < 0.3 )
                        squares.push_back(approx);
                }
            }
        }
    }
}


// the function draws all the squares in the image
void drawSquares( Mat& image, const vector<vector<Point> >& squares )
{
    for( size_t i = 1; i < squares.size(); i++ )
    {
        const Point* p = &squares[i][0];
        int n = (int)squares[i].size();
        polylines(image, &p, &n, 1, true, Scalar(0,255,0), 3, CV_AA);
    }

    imshow(wndname, image);
}


int main(int argc, char** argv)
{
    if (argc < 2)
    {
        cout << "Usage: ./program <file>" << endl;
        return -1;
    }

    static const char* names[] = { argv[1], 0 };

    help();
    namedWindow( wndname, 1 );
    vector<vector<Point> > squares;

    for( int i = 0; names[i] != 0; i++ )
    {
        Mat image = imread(names[i], 1);
        if( image.empty() )
        {
            cout << "Couldn't load " << names[i] << endl;
            continue;
        }

        findSquares(image, squares);
        drawSquares(image, squares);
        imwrite("out.jpg", image);

        int c = waitKey();
        if( (char)c == 27 )
            break;
    }

    return 0;
}

【讨论】：

【解决方案7】：

这是一个遵循@Tom10 的简单形态过滤解决方案：

matlab中的解：

se1 = strel('line',5,180);            % linear horizontal structuring element 
se2 = strel('line',5,90);             % linear vertical structuring element 
I = rgb2gray(imread('test.jpg'))>80;  % threshold (since i had a grayscale version of the image)
Idil = imdilate(imdilate(I,se1),se2); % dilate contours so that they connect
Idil_area = bwareaopen(Idil,1200);    % area filter them to remove the small components

这个想法是基本上连接水平轮廓以制作一个大组件，然后通过区域开口过滤器过滤以获得矩形。

结果：

【讨论】：