检测图像上的迷宫位置

Question

我正在尝试从照片中定位迷宫位置。

我想得到的是迷宫角落的 (x,y) 点。

如您所见，我将cv2.Canny() 应用到图片上，并得到了一个非常干净的图像作为开始。

所以下一步就是定位迷宫了。

我已经搜索了一段时间，所有 SOF 问题都要求找到“完美”矩形的位置，例如this one 和 this one 但在我的情况下，矩形没有闭合轮廓，因此它们的代码在我的情况下不起作用。

还查看了 OpenCV 代码，他们都试图找到轮廓并将这些轮廓绘制到图像上，但这对我不起作用。我刚刚得到了 1 个大轮廓，它与我的照片的边框相距甚远。

cnts = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)      
cnts = imutils.grab_contours(cnts)

---

更新 1

原图：

代码：

import cv2
from PIL import Image
from matplotlib import pyplot as plt
import numpy as np
import imutils

img = cv2.imread('maze.jpg')
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

edges = cv2.Canny(img,100,200)


f,axarr = plt.subplots(1,2,figsize=(15,15))

axarr[0].imshow(img)
axarr[1].imshow(edges)

plt.show()

Answer 1

一种方法可能是使用形态学reconstruction，尽管它可能是一种临时解决方案。 假设迷宫始终位于照片的中心，您可以使用迷宫中心部分的“窗口”作为迷宫的形态重建的种子/标记，因为所有边界都是连接的。 结果，您会将迷宫从照片中隔离出来。 通过获得孤立迷宫的边界框，可以“轻松”获得拐角的 (x,y)。

例如：

from skimage.morphology import reconstruction
from skimage.io import imread, imshow
import matplotlib.pyplot as plt
import numpy as np


maze = imread('/home/user/.../maze.jpg', as_gray=True)
h, w = maze.shape

#creating the seed 
seed = np.zeros_like(maze)
size = 40

#we create a window in the center of the image
seed[h//2-size:h//2+size, w//2-size:w//2+size] = maze[h//2-size:h//2+size, w//2-size:w//2+size]

seed 将包含带有黑框的迷宫的中心部分。请记住，seed 的大小必须与maze 相同，因此框架的存在。

我们第一次应用重建并将结果二值化。默认情况下，reconstruction 使用具有 (3,3) 形状的结构元素。阈值的值可以根据图像进行调整。

rec_1 = reconstruction(seed, maze)
rec_1[rec_1 < 0.70] = 0.
rec_1[rec_1 >= 0.70] = 1.

这是rec_1：

这很好，但我们可以让它变得更好一点。让我们再次应用reconstruction，但这次使用更大的窗口和erosion而不是dilation作为重建方法：

seed_2 = np.ones_like(rec_1)
size_2 = 240
seed_2[h//2-size_2:h//2+size_2, w//2-size_2:w//2+size_2] = recon[h//2-size_2:h//2+size_2, w//2-size_2:w//2+size_2]
rec_2 = reconstruction(seed_2, rec_1, method='erosion', selem=np.ones((11,11)))

注意我也在使用更大的结构元素，形状为(11,11)。

最后的重建步骤给了我们这个结果：

接下来的步骤是使用边界框方法来获取左上角和右下角 (x, y) 坐标。

这些结果将是一个近似值，因为在原始图像中，迷宫不是完全平坦的，我们将依赖这样一个事实，即迷宫的入口和出口恰好位于这些位置，而不是迷宫中的任何其他位置。

此外，这可能只需更少的步骤即可完成。

更新： 如建议的那样，可以通过使用凸包、二元腐蚀和角点检测技术而不是边界框方法来获得精确坐标。

首先我们反转rec_2，然后我们得到凸包，应用侵蚀来缩小矩形的大小并计算角峰坐标。

from skimage.util import invert
from skimage.morphology import binary_erosion
from skimage.morphology.convex_hull import convex_hull_image
from skimage.feature import corner_harris, corner_subpix

rec_2_inv = invert(rec_2)
hull = convex_hull_image(rec_2_inv)
hull_eroded = binary_erosion(hull, selem=np.ones(30,30))

coords = corner_peaks(corner_harris(hull_eroded), min_distance=5, threshold_rel=0.02)
coords_subpix = corner_subpix(rec_2_inv, coords, window_size=13)[2:4]

这是侵蚀凸包：

最后我们绘制带有坐标的最终图像：

fig, ax = plt.subplots()
ax.imshow(rec_2_inv, cmap=plt.cm.gray)
ax.plot(coords_subpix[:, 1], coords_subpix[:, 0], '+r', markersize=15)
plt.savefig('maze_with_coordinates.png', bbox_tight=True)

coords_subpix 保存坐标的数值，我故意分配两个值而不是四个值。 这些值是：

[[1611.48876404  104.50561798]
 [2695.07777778 1679.67222222]]

大部分更新代码都是使用 scikit-image example's 参数完成的，只进行了最少的调整。