如何在图像的多个矩形边界框中应用阈值？

Question

我的问题是： 我有图像中对象周围的边界框的 ROI。 ROI 由 Faster R-CNN 获得。现在我想要的是应用阈值来使对象准确地包含在边界框中。该图像的 ROI 由 Faster RCNN 获得。

所以，在获得 ROI 后，我只从图像中选择 ROI 并粘贴到相同大小和尺寸的黑色图像上，结果如下图。假设

正如您所见，盒子是矩形的，因此在某些地方它会覆盖一些背景区域以及尖峰。那么，如何应用阈值处理来仅使尖峰和其他像素变为黑色？

编辑： 我已将链接添加到问题中第一张图像的 ROI 文本文件

ROI file for first image

Answer 1

在您的 TensorFlow 检测中，您在运行预测后获得的输出字典有一个字段“detection_scores”。

output_dict = sess.run(tensor_dict,feed_dict={image_tensor: image})

为此设置一个阈值，

 indexes=np.where(output_dict['detection_scores']>0.5)

仅在您在上一步中过滤的那些特定索引上使用这些框，即 output_dict['detection_boxes']。

[编辑] 在cmets讨论后添加更多代码

#convert the image to hsv
hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
#tune the numbers below accordingly
lower_green = np.array([60, 100, 50])
upper_green = np.array([60 , 255, 255])

mask = cv2.inRange(hsv, lower_green, upper_green)
res = cv2.bitwise_and(frame,frame, mask= mask)
#res has the output masked image

[编辑] 使用问题中给出的实际图像进行编辑

img=cv2.imread("idJyc.jpg")
lower_green = np.array([0, 10, 0])
upper_green = np.array([255 , 100, 255])
mask = cv2.inRange(img, lower_green, upper_green)
mask = np.abs(255-mask)
res = cv2.bitwise_and(img,img, mask=mask)
cv2.imshow("a",res)
cv2.waitKey(0)

添加输出图像供您参考。

Answer 2

使用cv2.inRange() 的颜色阈值应该在这里工作。我假设你想隔离绿色区域

主要思路

• 将图像转换为 HSV 格式，因为它比 RBG 更容易表示颜色
• 使用下限/上限阈值执行颜色分割

你也可以在获得蒙版后执行morphological operations来平滑或去除噪声

---

import numpy as np
import cv2

image = cv2.imread('1.jpg')
result = image.copy()
image = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
lower = np.array([18, 0, 0])
upper = np.array([179, 255, 255])
mask = cv2.inRange(image, lower, upper)
result = cv2.bitwise_and(result,result, mask=mask)
cv2.imshow('result', result)
cv2.imwrite('result.png', result)
cv2.waitKey()

您可以使用 HSV 颜色阈值脚本来隔离所需的颜色范围

import cv2
import sys
import numpy as np

def nothing(x):
    pass

# Create a window
cv2.namedWindow('image')

# create trackbars for color change
cv2.createTrackbar('HMin','image',0,179,nothing) # Hue is from 0-179 for Opencv
cv2.createTrackbar('SMin','image',0,255,nothing)
cv2.createTrackbar('VMin','image',0,255,nothing)
cv2.createTrackbar('HMax','image',0,179,nothing)
cv2.createTrackbar('SMax','image',0,255,nothing)
cv2.createTrackbar('VMax','image',0,255,nothing)

# Set default value for MAX HSV trackbars.
cv2.setTrackbarPos('HMax', 'image', 179)
cv2.setTrackbarPos('SMax', 'image', 255)
cv2.setTrackbarPos('VMax', 'image', 255)

# Initialize to check if HSV min/max value changes
hMin = sMin = vMin = hMax = sMax = vMax = 0
phMin = psMin = pvMin = phMax = psMax = pvMax = 0

img = cv2.imread('1.jpg')
output = img
waitTime = 33

while(1):

    # get current positions of all trackbars
    hMin = cv2.getTrackbarPos('HMin','image')
    sMin = cv2.getTrackbarPos('SMin','image')
    vMin = cv2.getTrackbarPos('VMin','image')

    hMax = cv2.getTrackbarPos('HMax','image')
    sMax = cv2.getTrackbarPos('SMax','image')
    vMax = cv2.getTrackbarPos('VMax','image')

    # Set minimum and max HSV values to display
    lower = np.array([hMin, sMin, vMin])
    upper = np.array([hMax, sMax, vMax])

    # Create HSV Image and threshold into a range.
    hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
    mask = cv2.inRange(hsv, lower, upper)
    output = cv2.bitwise_and(img,img, mask= mask)

    # Print if there is a change in HSV value
    if( (phMin != hMin) | (psMin != sMin) | (pvMin != vMin) | (phMax != hMax) | (psMax != sMax) | (pvMax != vMax) ):
        print("(hMin = %d , sMin = %d, vMin = %d), (hMax = %d , sMax = %d, vMax = %d)" % (hMin , sMin , vMin, hMax, sMax , vMax))
        phMin = hMin
        psMin = sMin
        pvMin = vMin
        phMax = hMax
        psMax = sMax
        pvMax = vMax

    # Display output image
    cv2.imshow('image',output)

    # Wait longer to prevent freeze for videos.
    if cv2.waitKey(waitTime) & 0xFF == ord('q'):
        break

cv2.destroyAllWindows()

这是原始图像上的结果

Answer 3

如果您熟悉应用神经网络并且您正在 足够的数据。这个任务非常适合分割。

我推荐U-Net，因为它可以使用少量标记数据进行训练。对于此任务，它也快速，操作很少，复杂度相对较低。 并在各种任务中表现出良好的表现。

我还找到了full code pipeline，在这种情况下用于斑马鱼的心脏分割，但在我看来，他们在解释如何准备数据（提出标记工具等）和训练模型方面做得很好。

同样退后一步，您还可以从一开始就将您的任务解释为分段任务。特别是对于 U-Net，在同一张图像中分割多个实例应该不是问题。