【问题标题】:Digit recognizing, using opencv数字识别,使用opencv
【发布时间】:2019-02-04 13:52:46
【问题描述】:

我有 4 张小图片。

有数字 6、16、9 和 9。我将图片与数字与我的模板进行比较,只有 30 个变体 [0-30]。图片 - 屏幕截图。数字出现在正方形的不同位置(示例中左角为 9,右角为 9)。

我使用两种方法:计算白色像素的数量。

original = cv2.imread('im/16.png')
sought = [254,254,254]
result = np.count_nonzero(np.all(original==sought,axis=2)) 

这种方式总是有效的,除了 6 和 9。在这种情况下,白色像素的数量是相等的。

第二种方法:获取图像上所有像素的位置并与其他图像进行数据比较:

# tit - title of image
# same list for equal images
difference = cv2.subtract(original,image_to_compare)
b,g,r = cv2.split(difference)
cv2.countNonZero(b) == 0:
    same.append(tit)
if len(same) > 1:
    res = same
    print(res)

这个方法可以帮助我区分 6 和 9,但是!在两个不同角落的 9 个图像中,它也可以识别出差异。

我希望我的代码能够识别每个数字,并且看不到图像右侧或左侧的一个数字之间的差异。

【问题讨论】:

标签: python opencv ocr


【解决方案1】:

您可以找到很多关于 OCR 的论文和软件,因为它被广泛用于许多应用程序中。我想为您的问题提供一个非常简单的解决方案,使用 numpy 和 opencv 来完成这项工作。

我们会做什么:

  1. 导入 numpy 和 opencv
  2. 加载您提供的图片
  3. 把它们关起来
  4. Make 函数,将返回给定图像中的数字数组
  5. 比较图 1 和图 2 中的数字
  6. 制作我们的“数字银行”,以便我们了解数字 9 的样子
  7. 将我们在图 3 中找到的数字与我们的“数字银行”进行比较

代码:

import cv2
import numpy as np

treshold = 70

#Treshold every image, so "0" in image means no digit and "1" is digit 
image1 = (cv2.imread("number_1.png",0) > treshold).astype(np.uint8)
image2 = (cv2.imread("number_2.png",0) > treshold).astype(np.uint8)
image3 = (cv2.imread("number_3.png",0) > treshold).astype(np.uint8)
image4 = (cv2.imread("number_4.png",0) > treshold).astype(np.uint8)

函数,将返回给定图像中的数字数组:

def get_images_of_digits(image):
    components = cv2.connectedComponentsWithStats(image, 8, cv2.CV_16U) #Separate digits
    #Get position of every components
    #For details how this works take a look at 
    #https://stackoverflow.com/questions/35854197/how-to-use-opencvs-connected-components-with-stats-in-python
    position_of_digits = components[2] 
    number_of_digits = len(position_of_digits) - 1 #number of digits found in image
    digits = [] #Array with every digit in image
    for i in range(number_of_digits):    
        w = position_of_digits[i+1,0] #Left corner of digit
        h = position_of_digits[i+1,1] #Top corner of digit
        digit = image[h:h+height_of_digit,w:w+width_of_digit] #Cut this digit out of image

        #Count how many white pixels there are
        px_count = np.count_nonzero(digit)
        #Divide every pixel by square root of count of pixels in digit. 
        #Why? If we make convolution with the same digit it will give us sweet "1", which means these digits are identical
        digit = digit / np.sqrt(px_count)  
    digits.append(digit)

return digits #Return all digits

获取数字

d_1 = get_images_of_digits(image1)[0] #Digit "9" from first image
d_2 = get_images_of_digits(image2)[0] #Digit "9" from second image
d_3 = get_images_of_digits(image4)[0] #Digit "6" from last image

print(cv2.filter2D(d_1,-1,d_2).max()) #Digit "9" on image 1 and 2 match perfectly (result of convolution is 1).
#Filter2D does convolution (correlation to be precise, but they are the same for our purpose)

将第一个图像的数字“9”和最后一个图像的数字“6”放入数字库。然后遍历我们在图 3 中找到的每个数字,并将其与我们的数字银行进行比较。如果分数低于 0.9,则不匹配。

bank_of_digits = {"9":d_1, "6":d_3} 
for digit in get_images_of_digits(image3):
    #print(digit)
    best_restult = 0.9 #If score is above 0.9, we say it is match
    #Maybe tweak this higher for separating chars "8" and "9" and "0"
    matching_digit = "?" #Default char, when there is no match
    for number in bank_of_digits:
        score = cv2.filter2D(digit,-1,bank_of_digits[number]).max() #Returns 0-1 . 1 Means perfect match       
        print("Score for number " + number +" is: "+ str(np.round(score,2)) )
        if score > best_restult: #If we find better match
            best_restult = score #Set highest score yet
            matching_digit = number #Set best match number
    print("Best match: " + matching_digit)

最终结果将是“?”图 3 中的第一个数字,因为我们银行没有数字“1”,第二个结果将是“6”,得分为 0.97。

TLDR:我制作了从您的图像中分离数字并比较这些数字的算法。打印最佳匹配。

【讨论】:

    【解决方案2】:

    opencv 中,您可以在69 上训练分类器,例如Haar 基于特征的对象检测级联分类器 (https://docs.opencv.org/3.4/d5/d54/group__objdetect.html, https://docs.opencv.org/3.4/dc/d88/tutorial_traincascade.html)

    示例代码在即https://coding-robin.de/2013/07/22/train-your-own-opencv-haar-classifier.html

    我不知道这是否是一项任务,如果你被固定为 opencv,如果不是,你可以使用神经网络,参见 https://medium.com/@ageitgey/machine-learning-is-fun-part-3-deep-learning-and-convolutional-neural-networks-f40359318721Tunnel Vision 章或https://towardsdatascience.com/convnets-series-spatial-transformer-networks-cff47565ae81 但是 空间变换网络 对于这个问题来说有点过于复杂了

    【讨论】:

      猜你喜欢
      • 2016-01-08
      • 1970-01-01
      • 2011-12-25
      • 2016-08-06
      • 2015-10-21
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-03-27
      相关资源
      最近更新 更多