为 OCR 项目使用 GNU 并行组合两个命令

Question

我想编写一个脚本，在文本文件写入后运行OCR pdfs 的命令，删除生成的图像。

我要组合的两个命令如下。

此命令创建文件夹，从每个PDF 中提取pgm 并将它们添加到每个文件夹中：

time find . -name \*.pdf | parallel -j 4 --progress 'mkdir -p {.} && gs -dQUIET -dINTERPOLATE -dSAFER -dBATCH -dNOPAUSE -dPDFSETTINGS=/screen -dNumRenderingThreads=4 -sDEVICE=pgmraw -r300 -dTextAlphaBits=4 -sProcessColorModel=DeviceGray -sColorConversionStrategy=Gray -dOverrideICC -o {.}/{.}-%03d.pgm {}'

此命令执行 OCR 并删除生成的图像 (pgm)：

time find . -name \*.pgm | parallel -j 4 --progress 'tesseract {} {.} -l deu_frak && rm {.}.pgm'

我想组合这两个命令，以便脚本在每个 OCR 之后删除 pgm 图像。如果我运行上述命令，第一个命令将提取图像并占用我的磁盘空间，然后第二个命令将执行 OCR，并且仅在最后一步删除图像。

所以，

1. 创建文件夹
2. 从 PDF 中提取 PGM
3. 从 PGM 到 txt 的 OCR
4. 删除刚刚使用过的 PGM 图像（缺失）

基本上，我希望按此顺序对每个分隔的PDF 执行这 4 个步骤，而不是一次对所有PDF 执行。我该怎么做？

编辑：

我第一次尝试解决我的问题是创建以下命令：

time find . -name \*.pdf | parallel -j 4 -m --progress --eta 'mkdir -p {.} && gs -dQUIET -dINTERPOLATE -dSAFER -dBATCH -dNOPAUSE -dPDFSETTINGS=/screen -dNumRenderingThreads=4 -sDEVICE=pgmraw -r300 -dTextAlphaBits=4 -sProcessColorModel=DeviceGray -sColorConversionStrategy=Gray -dOverrideICC -o {.}/{.}-%03d.pgm {}' && time find . -name \*.pgm | parallel -j 4 --progress --eta 'tesseract {} {.} -l deu_frak && rm {.}.pgm'

但是，tesseract 找不到语言包。

Answer 1

更新答案

我尚未对此进行测试，请在您的一小部分文件的副本上运行它。如果您觉得它看起来不错，您可以在开始时关闭带有DEBUG: 的消息：

#!/bin/bash

# Declare a function for "parallel" to call
doit() {
    # Get name of PDF with and without extension
    withext="$1"
    noext="$2"
    echo "DEBUG: Processing $withext into $noext"

    # Make output directory
    mkdir -p "$noext"

    # Extract as PGM into subdirectory
    gs ... -o "$noext"/"${noext}-%03d.pgm $withext"

    # Go to target directory or die with error message
    cd "$noext" || { echo ERROR: Failed to cd to $noext ; exit 1; }

    # OCR and remove each PGM 
    n=0
    for f in *pgm; do
       echo "DEBUG: OCR $f into $n"
       tesseract "$f" "$n" -l deu_frak
       echo "DEBUG: Remove $f"
       rm "$f"
       ((n=n+1))
    done 
}

# Ensure the function is exported to subshells
export -f doit

find . -name \*.pdf -print0 | parallel -0 doit {} {.}

您应该能够在没有parallel 的情况下通过运行来测试doit() 函数：

doit someFile.pdf someFile

原答案

如果您想为 GNU Parallel 中的每个参数做很多事情，最简单的方法是声明一个 bash 函数，然后调用它。

看起来像这样：

# Declare a function for "parallel" to call
doit() {
    echo "$1" "$2"
    # mkdir something
    # extract PGM
    # do OCR
    # delete PGM
}

# Ensure the function is exported to subshells
export -f doit

find some files -print0 | parallel -0 doit {} {.}