如何检测图像中的框并将它们作为单个文件拉出？答案

【问题标题】：How can I detect boxes in an image and pull them out as individual files?如何检测图像中的框并将它们作为单个文件拉出？
【发布时间】：2023-03-20 02:55:01
【问题描述】：

我需要一种程序化的方式来获取扫描的图像（假设为 PNG 或任何其他方便的图像格式）并将其分解为许多较小的图像。扫描的图像是一个网格，网格的框总是相同的大小和相同的相对位置。因为图像是扫描的，所以它们不一定在同一个绝对位置。每个盒子里都有一个角色，理想情况下我想将角色保存为自己的图像文件，没有任何框边框。

我更喜欢 PHP 和 ImageMagick，我认为这将是正确的工具组合。不过，如果有更好的方法，我会很灵活。

【问题讨论】：

我已经尝试过 Fred 的 multicrop 工具，但它似乎没有奏效。该图像是一个带有边框的表格，我需要提取每个单元格。有人有什么想法吗？
这些扫描图像是灰度图还是彩色图？

标签： php image-processing imagemagick ocr tesseract

【解决方案1】：

这是解决问题的算法方法的开始......

我正在使用我为测试目的创建的这张图片，名为box.jpg，尺寸为 352x232 像素：

目标是识别红色框并提取“戴夫”图片。

我的算法方法如下：

将图片缩放为具有原始宽度但高度仅为1像素的图片；同时转为灰度，增加对比度；使用 ImageMagick 可以发出的每个像素属性的文本描述。这样，您应该能够找到垂直红线像素累积极端颜色值的两个点。（垂直的红线像素与灰色字母像素将具有更常见的颜色值。）
在另一个方向上做同样的事情：将图片缩放到具有原始高度但宽度仅为1像素的图片（转换为灰度，增加对比度，使用文字描述... yadda-雅达）。您会发现水平红线像素累积极端颜色值的两个点。（垂直红线与灰色字母像素相结合将具有更“平均”的颜色值。）
确定两个结果中每个颜色值峰值的位置：这将为您提供要从原始图像中提取的子图像的几何形状。
从原始图像中提取子图像。根据需要裁剪每一侧。

我无法详细说明完整的算法，但这里是我将用于第 1 步和第 2 步的命令。

步骤 1 的命令

convert                   \
    -type grayscale       \
    -depth 8              \
     box.jpg              \
    -scale x1\!           \
    -contrast-stretch 6x6 \
     columns.txt

步骤 1 的结果

这是columns.txt的内容：

 # ImageMagick pixel enumeration: 352,1,255,gray
 0,0: (  0,  0,  0)  \#000000  black                 <-- left outer image border 
 1,0: (253,253,253)  #FDFDFD  gray(253,253,253)
 2,0: (255,255,255)  #FFFFFF  gray(255,255,255)
 3,0: (255,255,255)  #FFFFFF  gray(255,255,255)
 [...]
 20,0: (255,255,255)  #FFFFFF  white
 21,0: (255,255,255)  #FFFFFF  white
 [...]
 46,0: (255,255,255)  #FFFFFF  white
 47,0: (255,255,255)  #FFFFFF  white
 48,0: (243,243,243)  #F3F3F3  gray(243,243,243)
 49,0: (  0,  0,  0)  #000000  black                 <-- left box border (ex-red)
 50,0: (  0,  0,  0)  #000000  gray(0,0,0)           <-- left box border (ex-red)
 51,0: (  0,  0,  0)  #000000  black                 <-- left box border (ex-red)
 52,0: (  0,  0,  0)  #000000  black                 <-- left box border (ex-red)
 53,0: (221,221,221)  #DDDDDD  gray(221,221,221)
 54,0: (231,231,231)  #E7E7E7  gray(231,231,231)
 55,0: (236,236,236)  #ECECEC  gray(236,236,236)
 [...]
 247,0: (236,236,236)  #ECECEC  gray(236,236,236)
 248,0: (216,216,216)  #D8D8D8  gray(216,216,216)
 249,0: (  0,  0,  0)  #000000  black                <-- right box border (ex-red)
 250,0: (  1,  1,  1)  #010101  gray(1,1,1)          <-- right box border (ex-red)
 251,0: (  0,  0,  0)  #000000  black                <-- right box border (ex-red)
 252,0: (  1,  1,  1)  #010101  gray(1,1,1)          <-- right box border (ex-red)
 253,0: (226,226,226)  #E2E2E2  gray(226,226,226)
 254,0: (244,244,244)  #F4F4F4  gray(244,244,244)
 255,0: (244,244,244)  #F4F4F4  gray(244,244,244)
 [...]
 303,0: (255,255,255)  #FFFFFF  white
 304,0: (255,255,255)  #FFFFFF  white
 305,0: (255,255,255)  #FFFFFF  white
 [...]
 342,0: (255,255,255)  #FFFFFF  white
 343,0: (255,255,255)  #FFFFFF  white
 344,0: (255,255,255)  #FFFFFF  gray(255,255,255)
 345,0: (255,255,255)  #FFFFFF  gray(255,255,255)
 346,0: (255,255,255)  #FFFFFF  gray(255,255,255)
 347,0: (255,255,255)  #FFFFFF  gray(255,255,255)
 348,0: (255,255,255)  #FFFFFF  gray(255,255,255)
 349,0: (255,255,255)  #FFFFFF  gray(255,255,255)
 350,0: (253,253,253)  #FDFDFD  gray(253,253,253)
 351,0: (  0,  0,  0)  #000000  black                <-- right outer image border

(注意：ImageMagick 有时调用#FFFFFF 的颜色值，有时调用white，有时调用gray(255,255,255) 的颜色值，以及调用#000000 的颜色值似乎有点令人困惑somtimes black, somtimes gray(0,0,0)...也许是一个错误？无论如何，这里不会阻止我们...）

步骤 2 的命令

convert                   \
    -type grayscale       \
    -depth 8              \
     box.jpg              \
    -scale 1x\!           \
    -contrast-stretch 6x6 \
     rows.txt

第 2 步的结果

这是rows.txt的内容（这次我丢掉了混淆的颜色名称）：

 # ImageMagick pixel enumeration: 1,232,255,gray 
 0,0: (  0,  0,  0)  #000000                 <-- top outer image border
 0,1: (255,255,255)  #FFFFFF  
 0,2: (255,255,255)  #FFFFFF  
 0,3: (255,255,255)  #FFFFFF       
 0,4: (255,255,255)  #FFFFFF       
 0,5: (255,255,255)  #FFFFFF       
 0,6: (255,255,255)  #FFFFFF       
 0,7: (255,255,255)  #FFFFFF       
 0,8: (255,255,255)  #FFFFFF       
 0,9: (255,255,255)  #FFFFFF       
 0,10: (255,255,255)  #FFFFFF       
 [...]
 0,46: (255,255,255)  #FFFFFF       
 0,47: (255,255,255)  #FFFFFF       
 0,48: (240,240,240)  #F0F0F0       
 0,49: (  0,  0,  0)  #000000                <-- top box border (ex-red)
 0,50: (  0,  0,  0)  #000000                <-- top box border (ex-red)
 0,51: (  0,  0,  0)  #000000                <-- top box border (ex-red)
 0,52: (  0,  0,  0)  #000000                <-- top box border (ex-red)
 0,53: (225,225,225)  #E1E1E1       
 0,54: (234,234,234)  #EAEAEA       
 [...]
 0,207: (244,244,244)  #F4F4F4       
 0,208: (230,230,230)  #E6E6E6       
 0,209: (  0,  0,  0)  #000000               <-- bottom box border (ex-red) 
 0,210: (  0,  0,  0)  #000000               <-- bottom box border (ex-red)
 0,211: (  0,  0,  0)  #000000               <-- bottom box border (ex-red)
 0,212: (  0,  0,  0)  #000000               <-- bottom box border (ex-red)
 0,213: (234,234,234)  #EAEAEA       
 0,214: (245,245,245)  #F5F5F5       
 [...]
 0,229: (255,255,255)  #FFFFFF       
 0,230: (255,255,255)  #FFFFFF       
 0,231: (  0,  0,  0)  #000000               <-- bottom outer image border

从这两个结果我们可以可靠地得出结论：

左侧垂直红色框边框线位于像素列 49-52。
右侧垂直红色框边框线位于像素列 249-252 处。
顶部水平红色框边框线位于像素行 49-52。
底部水平红色框边框线位于像素行 209-222。
从 1. 和 2. 您可以计算红色框的“内宽”为 197（249 减去 52）。那么提取的子图的宽度我们用 196。
从 3. 和 4. 您可以计算出红色框的“内部高度”为 157（209 减去 52）。那么提取的子图的高度我们用 156。
裁剪的水平偏移量需要为 52 像素。我们选择了 53 个。
裁剪的垂直偏移需要为 52 像素。我们选择了 53 个。

因此，我们从原始图像中剪切子图像的命令可以是：

convert  -crop 196x156+53+53  box3.jpg  sub-box.jpg

或者，为了使图像尺寸更好地与该网页的白色背景区分开来：

convert  -crop 196x156+53+53  box3.jpg  -colorize 20,0,20  sub-box.jpg

结果图片：

您现在可以在图像上应用 OCR：

tesseract sub-box.jpg OCR-subbox 1>/dev/null && cat OCR-subbox.txt

  Dave

【讨论】：