如何在 OpenCV 中使用带有小图像的 ORB 特征检测器

Question

我很难完成这项工作。 我的图像集由小图像 (58x65) 组成。

我正在使用带有以下参数的 ORB：

# Initiate ORB detector
# default: ORB(int nfeatures=500, float scaleFactor=1.2f, int nlevels=8, int edgeThreshold=31, int firstLevel=0, int WTA_K=2, int scoreType=ORB::HARRIS_SCORE, int patchSize=31)
orb = cv2.ORB_create(
  nfeatures = 500,                    # The maximum number of features to retain.
  scaleFactor = 1.2,                  # Pyramid decimation ratio, greater than 1
  nlevels = 8,                        # The number of pyramid levels.
  edgeThreshold = 7,                  # This is size of the border where the features are not detected. It should roughly match the patchSize parameter
  firstLevel = 0,                     # It should be 0 in the current implementation.
  WTA_K = 2,                          # The number of points that produce each element of the oriented BRIEF descriptor.
  scoreType = cv2.ORB_HARRIS_SCORE,   # The default HARRIS_SCORE means that Harris algorithm is used to rank features (the score is written to KeyPoint::score and is 
                                      # used to retain best nfeatures features); FAST_SCORE is alternative value of the parameter that produces slightly less stable 
                                      # keypoints, but it is a little faster to compute.
  #scoreType = cv2.ORB_FAST_SCORE,
  patchSize = 7                       # size of the patch used by the oriented BRIEF descriptor. Of course, on smaller pyramid layers the perceived image area covered
                                      # by a feature will be larger.
)

可以看出我更改了​​ edgeThreshold 和 patchSize 参数，但我担心这些尺寸太小而无法找到有意义的特征。

我正在测试一组相当大的停车场图像（约 3900 张 58x65 的图像），包括空的和被占用的。

但结果并不一致：停放的汽车（来自集合外）的图像显示为比​​其他停放的汽车更接近空位。

我做错了什么？我的猜测是上面提到的参数。在这方面有更多经验的人可以确认一下吗？

编辑：

Here 是图像的一小部分。

完整的数据集可以在here找到。

Answer 1

ORB 和小图像通常不会一起看到，因为检测器的窗口大小和尺度数量。您的窗口大小为 7 x 7，您选择的比例数为 8，比例因子为 1.2。这是检测器的典型设置，但如果您进行数学计算，您会很快意识到，随着您进一步缩小，窗口大小将太大，如果有的话，只会提示很少检测。我不建议你在这里使用 ORB。

尝试使用密集特征描述符，例如 HOG 或 Dense SIFT，它为像素的重叠窗口提供特征描述符，而不管它们的组成如何。从您描述的图像来看，这听起来是一种更好的方法。

假设您有一张名为 im 的灰度图像，用于 HOG：

import cv2

sample = ... # Path to image here

# Create HOG Descriptor object
hog = cv2.HOGDescriptor()

im = cv2.imread(sample, 0) # Grayscale image

# Compute HOG descriptor
h = hog.compute(im)

对于密集筛选：

import cv2

sample = ... # Path to image here

im = cv2.imread(sample, 0) # Grayscale image

# Create SIFT object
sift = cv2.xfeatures2d.SIFT_create()

# Provide a list of keypoints in spaces of 5 pixels horizontally and vertically
# Change the step size according to what you want
step_size = 5
kp = [cv2.KeyPoint(x, y, step_size) for y in range(0, img.shape[0], step_size) 
                                    for x in range(0, img.shape[1], step_size)]

# Calculate Dense SIFT feature vector
dense_feat = sift.compute(img, kp)

请注意，对于 SIFT 描述符，您需要安装库的 opencv-contrib-python 风格（即 pip install opencv-contrib-python）。