(-215: 断言失败) corr.rows <= img.rows + templ.rows - 1 && corr.cols <= img.cols + templ.cols - 1 in function 'cv::crossCorr' (matchTemplate)

Question

我在尝试获取应用程序的实时视频流时遇到了win32gui 的问题。我已经看到我可以使用 PIL 的 ImageGrab 并且基于此视频 Computer Screen Recording using Python & OpenCV 我想我可以使用它而不是 win32gui

我正在尝试通过编写一个机器人来学习 python，下面的代码应该从指定的文件夹中获取图像，将它们加载到一个数组中，将它们转换为 OpenCV 可以使用的格式，然后尝试找到它们中的任何一个或全部在我的应用程序窗口haystack

我在谷歌上找不到任何关于我遇到的错误的详细信息：

C:\Users\coyle\OneDrive\froggy-pirate-master\avoidShips>C:/Users/coyle/AppData/Local/Programs/Python/Python39/python.exe c:/Users/coyle/OneDrive/froggy-pirate-master/avoidShips/avoidships4.py
Traceback (most recent call last):
  File "c:\Users\coyle\OneDrive\froggy-pirate-master\avoidShips\avoidships4.py", line 41, in <module>
    loadImages()
  File "c:\Users\coyle\OneDrive\froggy-pirate-master\avoidShips\avoidships4.py", line 22, in loadImages
    return matchTemplate(image_list)
  File "c:\Users\coyle\OneDrive\froggy-pirate-master\avoidShips\avoidships4.py", line 32, in matchTemplate
    result = cv.matchTemplate(haystack, needle_img, cv.TM_CCOEFF_NORMED)
cv2.error: OpenCV(4.5.1) C:\Users\appveyor\AppData\Local\Temp\1\pip-req-build-wvn_it83\opencv\modules\imgproc\src\templmatch.cpp:588: error: (-215:Assertion failed) corr.rows <= img.rows + templ.rows - 1 && corr.cols <= img.cols + templ.cols - 1 in function 'cv::crossCorr'

还有我的代码：

def loadImages():
    # Intialise empty array
    image_list = []
    # Get list of all images in directory
    directory = glob.glob(r"C:\Users\*.png")

    # Add images to image_list
    for img in directory:
        ship_img = cv.imread(img, 0)
        image_list.append(ship_img)
    return matchTemplate(image_list)

def matchTemplate(image_list):
    # Video Loop
    while True:
        haystack_img = ImageGrab.grab()
        haystack_img_np = np.array(haystack_img)
        haystack = cv.cvtColor(haystack_img_np, cv.COLOR_BGR2GRAY)
        
        # Object Detection
        for ships in image_list:
            needle_img = cv.imread(str(image_list), cv.IMREAD_UNCHANGED)
            result = cv.matchTemplate(haystack, needle_img, cv.TM_CCOEFF_NORMED)
            cv.imshow('Result', haystack)

            if cv.waitKey(1) == 27:
                break

        cv.destroyAllWindows()

loadImages()
matchTemplate()

作为测试，我尝试过使用静态图像做同样的事情，它确实有效，所以我不确定我哪里出错了。

import cv2 as cv
import glob

# load source images
directory = glob.glob(r'C:\Users\*.jpg')
# empty list to store the source images
image_list = []

for img in directory:
    ships_img = cv.imread(img, 0)
    image_list.append(ships_img)

haystack_img = cv.imread(r'C:\Users\both.jpg')
haystack_img = cv.cvtColor(haystack_img, cv.COLOR_BGR2GRAY)

#loop for matching
for ships in image_list:
    
    #save the dimensions of the needle images
    (H, W) = ships.shape[:2]
    result = cv.matchTemplate(haystack_img, ships, cv.TM_CCOEFF)
    min_val, max_val, min_loc, max_loc = cv.minMaxLoc(result)
    top_left = max_loc
    
    bottom_right = (top_left[0] + W, top_left[1] + H)
    cv.rectangle(haystack_img, top_left, bottom_right, 255, 2)

cv.imshow('Result', haystack_img)
cv.waitKey(0)

Answer 1

我无法对其进行测试，但您只需尝试加载内存中已有的图像

你有

needle_img = cv.imread(str(image_list), cv.IMREAD_UNCHANGED)

但是image_list 已经加载了图像，而不是文件名。
除了imread() 需要sinlge filename 但你尝试使用它与一些list 转换为字符串。

你应该直接使用

needle_img = ships

---

我觉得应该是的

def loadImages():
    # Intialise empty array
    image_list = []
    
    # Get list of all images in directory
    directory = glob.glob(r"C:\Users\*.png")

    # Add images to image_list
    for img in directory:
        ship_img = cv.imread(img, 0)  # <-- here you load all images
        image_list.append(ship_img)
        
    return image_list   # I preferr to send back data instead of running `matchTemplate`


def matchTemplate(image_list):
    # Video Loop
    while True:
        haystack_img = ImageGrab.grab()
        haystack_img_np = np.array(haystack_img)
        haystack = cv.cvtColor(haystack_img_np, cv.COLOR_BGR2GRAY)
        
        # Object Detection
        for ships in image_list:
            # you don't have to load images because you already have them in `image_list`
            #needle_img = cv.imread(str(image_list), cv.IMREAD_UNCHANGED)
            
            needle_img = ships
            
            result = cv.matchTemplate(haystack, needle_img, cv.TM_CCOEFF_NORMED)
            cv.imshow('Result', haystack)

            if cv.waitKey(1) == 27:
                break

        cv.destroyAllWindows()

# --- main ---

image_list = loadImages()
matchTemplate(image_list)

---

顺便说一句：

在正常的open()、read() 中，如果打开或读取文件有问题，则会出现错误，但在 OpenCV 中，imread() 在无法加载图像时不会引发错误，但会给出None - 但是您不检查是否收到None - 而且您不知道加载它有问题 - 稍后当您尝试在下一个命令（matchTemplate）中使用此值时，它会显示错误。但真正的问题是imread()