如何使用 tensorflow ocr 训练数据？

Question

我是 tensorflow 的新手，所以我对 tensorflow 有点困惑，有多个模型可以像执行 OCR 一样

1. attention_ocr
2. 街道

我有以下文件，我必须执行 OCR。我尝试使用pytesseract 读取图像但没有给出正确的结果。

我需要上图的以下结果

• D MANIKANDAN

• DURAISAMY

• 16/07/1986

• BNZPM2501F

请建议我 tensorflow 模态对于执行上述 OCR 很有用。我正在使用下面的代码从pytesseract获取数据

def getData(coordinate, image):
    (y1, y2, x1, x2, classification) = coordinate
    ts = int(time.time())
    height = y2-y1
    width = x2-x1
    crop = image[y1:y1+height, x1:x1+width]
    CROP_IMAGE_URL = EXPORT_PATH +"data.jpg"
    cv2.imwrite(CROP_IMAGE_URL, crop)
    img = cv2.imread(CROP_IMAGE_URL)
    text = pytesseract.image_to_string(img)
    os.remove(CROP_IMAGE_URL)
    return text

Answer 1

首先您必须创建一个对象检测模型来找到感兴趣的区域，如图所示。然后您可以将 ROI 图像传递给 OCR 模型或 PyTesseract。

Answer 2

步骤：

• 检测轮廓。

• 根据轮廓提取 ROI 后，使用 tesseract 提取文本。

---

import cv2
import pytesseract
import matplotlib.pyplot as plt
import matplotlib

img = cv2.imread('pan2.jpg')
image= img.copy()
gray = cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)
blur = cv2.GaussianBlur(gray, (3,3), 0)
thresh = 255 - cv2.threshold(blur, 0,255, cv2.THRESH_BINARY+cv2.THRESH_OTSU)[1]

# Dilate to combine adjacent text contours
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (4,2))
dilate = cv2.dilate(thresh, kernel, iterations=2)

# Find contours, highlight text areas, and extract ROIs
cnts = cv2.findContours(dilate, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]

ROI_number = 0
ROI_images = []
for c in cnts:
    area = cv2.contourArea(c)
    x,y,w,h = cv2.boundingRect(c)
    if area > 1000 and 12<h<18:
        cv2.rectangle(image, (x, y), (x + w, y + h), (36,255,12), 3)
        ROI = img[y:y+h, x:x+w]
        # cv2.imwrite('ROI_{}.png'.format(ROI_number), ROI)
        ROI_number += 1
        ROI_images.append(ROI)
plt.subplot(131)
plt.imshow(thresh)
plt.subplot(132)
plt.imshow(dilate)
plt.subplot(133)
plt.imshow(image)
plt.show()

---

---

for i in ROI_images:
    text = pytesseract.image_to_string(i,config='--psm 10 --oem 3 -c tessedit_char_whitelist=0123456789')
    print("text:",text)
    plt.imshow(i)
    plt.show()

---