Python：使用 OpenCV 从左上角到右下角对项目进行排序

Question

如何尝试从左上角到右下角对图片的项目进行排序，如下图所示？目前收到此错误，代码如下。

错误：

a = sorted(keypoints, key=lambda p: (p[0]) + (p1))[0] # 找到左上角 ValueError：具有多个元素的数组的真值不明确。使用 a.any() 或 a.all()

本题仿照：Ordering coordinates from top left to bottom right

def preprocess(img):
    img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    img_blur = cv2.GaussianBlur(img_gray, (5, 5), 1)
    img_canny = cv2.Canny(img_blur, 50, 50)
    kernel = np.ones((3, 3))
    img_dilate = cv2.dilate(img_canny, kernel, iterations=2)
    img_erode = cv2.erode(img_dilate, kernel, iterations=1)
    return img_erode

image_final = preprocess(picture_example.png)
keypoints, hierarchy = cv2.findContours(image_final, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)
points = []

while len(keypoints) > 0:
    a = sorted(keypoints, key=lambda p: (p[0]) + (p[1]))[0]  # find upper left point
    b = sorted(keypoints, key=lambda p: (p[0]) - (p[1]))[-1]  # find upper right point

    cv2.line(image_final, (int(a.pt[0]), int(a.pt[1])), (int(b.pt[0]), int(b.pt[1])), (255, 0, 0), 1)

    # convert opencv keypoint to numpy 3d point
    a = np.array([a.pt[0], a.pt[1], 0])
    b = np.array([b.pt[0], b.pt[1], 0])

    row_points = []
    remaining_points = []
    for k in keypoints:
        p = np.array([k.pt[0], k.pt[1], 0])
        d = k.size  # diameter of the keypoint (might be a theshold)
        dist = np.linalg.norm(np.cross(np.subtract(p, a), np.subtract(b, a))) / np.linalg.norm(b)   # distance between keypoint and line a->b
        if d/2 > dist:
            row_points.append(k)
        else:
            remaining_points.append(k)

    points.extend(sorted(row_points, key=lambda h: h.pt[0]))
    keypoints= remaining_points

新图片：

参考订购图片：

将使用质心来确定中心点排序。

Answer 1

生成的编号取决于您希望有多少行。使用我将向您展示如何制作的程序，您可以在运行程序之前指定行数。

例如，这里是原图：

这是指定 4 行时的编号图像：

这是指定 6 行时的编号图像：

对于您提供的另一张图片（其框架被裁剪，因此该框架不会被检测为形状），您可以看到将有 4 行，因此将 4 放入程序将为您提供：

---

让我们看一下考虑到 4 行的工作流程。我使用的概念是将图像沿 y 轴分成 4 段，形成 4 行。对于图像的每个片段，找到每个以该片段为中心的形状。最后，按 x 坐标对每个段中的形状进行排序。

1. 导入必要的库：

import cv2
import numpy as np

1. 定义一个函数，该函数将接受图像输入并将处理后的图像返回到允许 python 稍后检索其轮廓的东西：

def process_img(img):
    img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    img_canny = cv2.Canny(img_gray, 100, 100)
    kernel = np.ones((2, 3))
    img_dilate = cv2.dilate(img_canny, kernel, iterations=1)
    img_erode = cv2.erode(img_dilate, kernel, iterations=1)
    return img_erode

1. 定义一个返回轮廓中心的函数：

def get_centeroid(cnt):
    length = len(cnt)
    sum_x = np.sum(cnt[..., 0])
    sum_y = np.sum(cnt[..., 1])
    return int(sum_x / length), int(sum_y / length)

4. 定义一个函数，该函数将接收处理后的图像并返回图像中找到的形状的中心点：

def get_centers(img):
    contours, hierarchies = cv2.findContours(img, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)
    for cnt in contours:
        if cv2.contourArea(cnt) > 100:
            yield get_centeroid(cnt)

5. 定义一个函数，该函数将接收图像数组img、坐标数组centers、图像的段数row_amt，以及每个段的高度row_h，作为输入。它将返回 row_amt 数组（按它们的 x 坐标排序），每个数组都包含 centers 中位于图像对应行中的每个点：

def get_rows(img, centers, row_amt, row_h):
    centers = np.array(centers)
    d = row_h / row_amt
    for i in range(row_amt):
        f = centers[:, 1] - d * i
        a = centers[(f < d) & (f > 0)]
        yield a[a.argsort(0)[:, 0]]

6. 读入图像，使用定义的processed函数获取其处理后的形式，并使用定义的centers函数获取图像中每个形状的中心：

img = cv2.imread("shapes.png")
img_processed = process_img(img)
centers = list(get_centers(img_processed))

1. 获取图像的高度以用于定义的get_rows 函数，并定义一个计数变量count 来跟踪编号：

h, w, c = img.shape
count = 0

8. 循环穿过分为 4 行的形状中心，绘制连接行的线以进行可视化：

for row in get_rows(img, centers, 4, h):
    cv2.polylines(img, [row], False, (255, 0, 255), 2)
    for x, y in row:

9. 添加到count 变量，并从row 数组中将count 绘制到图像上的特定位置：

        count += 1
        cv2.circle(img, (x, y), 10, (0, 0, 255), -1)  
        cv2.putText(img, str(count), (x - 10, y + 5), 1, cv2.FONT_HERSHEY_PLAIN, (0, 255, 255), 2)

10. 最后，显示图片：

cv2.imshow("Ordered", img)
cv2.waitKey(0)

---

总共：

import cv2
import numpy as np

def process_img(img):
    img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    img_canny = cv2.Canny(img_gray, 100, 100)
    kernel = np.ones((2, 3))
    img_dilate = cv2.dilate(img_canny, kernel, iterations=1)
    img_erode = cv2.erode(img_dilate, kernel, iterations=1)
    return img_erode
    
def get_centeroid(cnt):
    length = len(cnt)
    sum_x = np.sum(cnt[..., 0])
    sum_y = np.sum(cnt[..., 1])
    return int(sum_x / length), int(sum_y / length)

def get_centers(img):
    contours, hierarchies = cv2.findContours(img, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)
    for cnt in contours:
        if cv2.contourArea(cnt) > 100:
            yield get_centeroid(cnt)

def get_rows(img, centers, row_amt, row_h):
    centers = np.array(centers)
    d = row_h / row_amt
    for i in range(row_amt):
        f = centers[:, 1] - d * i
        a = centers[(f < d) & (f > 0)]
        yield a[a.argsort(0)[:, 0]]

img = cv2.imread("shapes.png")
img_processed = process_img(img)
centers = list(get_centers(img_processed))

h, w, c = img.shape
count = 0

for row in get_rows(img, centers, 4, h):
    cv2.polylines(img, [row], False, (255, 0, 255), 2)
    for x, y in row:
        count += 1
        cv2.circle(img, (x, y), 10, (0, 0, 255), -1)  
        cv2.putText(img, str(count), (x - 10, y + 5), 1, cv2.FONT_HERSHEY_PLAIN, (0, 255, 255), 2)

cv2.imshow("Ordered", img)
cv2.waitKey(0)

Answer 2

这与您从中获取代码的链接问题中的任务不完全相同：

1. 你有轮廓，而另一个问题有要点。 你必须想出一种方法来对轮廓进行排序（它们可能在一维上重叠等等......）。有多种方法可以做到这一点，具体取决于您的用例。最简单的可能是使用轮廓的质心。这可以在这里完成：Center of mass in contour (Python, OpenCV)。然后，您可以从中创建一个对象数组，其中包含点并使用您找到的代码。
2. 您找到的代码假定点基本上或多或少位于网格上。因此，参考图像上的所有点 1-5 大致在一条线上。在您发布的新图片中，情况并非如此。在这里采用聚类方法可能会更好：使用某种方法（可能是一个from here）对中心点 y 坐标进行聚类。然后对于每个集群：按中心 x 坐标对元素进行排序。

正如我已经说过的，有多种方法可以做到这一点，这几乎不取决于您的用例。