球面反射物体的分水岭分割

Question

我正在尝试使用分水岭进行一些图像分割，以检测图像中的所有球。我遵循了 pyimage tuto。但我得到的结果很差。我的猜测是反射是问题所在。图像仍然很干净，实例看起来很分离。

我在这里使用正确的方法吗？我错过了什么吗？ 我测试了cellpose，我得到了几乎完美的结果。当然，这不是相同的方法，我希望通过“经典”计算机视觉技术获得一些东西。

以下是我拥有的代码、原始图像和当前结果。我试图更改参数，但我不确定我在这里做什么。我也看了inRange，但恐怕这些球从来都不是同一种颜色。

原图：https://i.stack.imgur.com/7595R.jpg

import numpy as np
from scipy import ndimage
import cv2
from skimage.feature import peak_local_max
from skimage.segmentation import watershed
import imutils
from matplotlib import pyplot as plt


img = cv2.imread('balls.jpg')
gray = - cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

plt.imshow(gray)

# Things I tried...
# gray = cv2.dilate(gray,kernel,iterations = 1)
# hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
# h, s, v = cv2.split(hsv)

thresh = cv2.threshold(gray, 250, 255, cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU)[1]

# compute the exact Euclidean distance from every binary
# pixel to the nearest zero pixel, then find peaks in this
# distance map
D = ndimage.distance_transform_edt(thresh)
localMax = peak_local_max(D, indices=False, min_distance=30, labels=thresh)
# perform a connected component analysis on the local peaks,
# using 8-connectivity, then appy the Watershed algorithm
markers = ndimage.label(localMax, structure=np.ones((3, 3)))[0]
labels = watershed(-D, markers, mask=thresh)

# draw on mask
for label in np.unique(labels):
    # if the label is zero -> 'background'
    if label == 0:
        continue

    mask = np.zeros(gray.shape, dtype="uint8")
    mask[labels == label] = 255
    # detect contours in the mask and grab the largest one
    cnts = cv2.findContours(mask.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    cnts = imutils.grab_contours(cnts)
    c = max(cnts, key=cv2.contourArea)

    # draw a circle enclosing the object
    ((x, y), r) = cv2.minEnclosingCircle(c)
    cv2.circle(img, (int(x), int(y)), int(r), (0, 255, 0), 2)
    cv2.putText(img, "#{}".format(label), (int(x) - 10, int(y)), 
                cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 0, 255), 2)

plt.imshow(img)

标签：https://i.stack.imgur.com/M6hZb.png

Answer 1

matchTemplate“解决方案”与opencv/samples/mouse_and_match.py

使用任何你喜欢的东西来找到峰值。

是的，使用这种方法，您必须手动选择模板。

为了解决这个问题，可能会有一些利用自相似性（自相关）的方法。给读者练习。

您不能选择整个球，因为它们的大小各不相同，所以这已经是模板匹配的一个巨大缺点，而且围绕圆形的矩形包含大量非对象像素，这会降低相关性得分部分不同。

选择反射是有效的（从中等球上），因为反射显示了一个具有强烈对比度的环境。

注意到顶部附近的一个小球，稍微向右？由于很多原因，它做得不太好。