GNU 与自定义脚本并行进行字符串比较

Question

下面的script.sh 将字符串的一部分（来自stdin 由cat 写入csv 文件）与定义的字符串进行比较，并以某种格式报告差异

#!/usr/bin/env bash

reference="ABCDEFG"
ref_transp=$(echo "$reference" | sed -e 's/\(.\)/\1\n/g')
while read line; do
  line_transp=$(echo "$line" | cut -d',' -f2 | sed -e 's/\(.\)/\1\n/g')
  output=$(paste -d ' ' <(echo "$ref_transp") <(echo "$line_transp") | grep -vnP '([A-Z]) \1' | sed -E 's/([0-9][0-9]*):([A-Z]) ([A-Z]*)/\2\1\3/' | grep '^[A-Z][0-9][0-9]*[A-Z*]$')
  echo "$(echo ${line:0:35}, $output)"
done < "${1:-/dev/stdin}"

它打算在格式非常大​​的文件中的多行上执行

XYZ,ABMDEFG

当我在管道中使用它时效果很好：

cat large_file | ./find_something.sh

但是，当我尝试将它与 parallel 一起使用时，我收到此错误：

$  cat large_file | parallel ./find_something.sh
./find_something.sh: line 9: XYZ, ABMDEFG : No such file or directory

这是什么原因造成的？如果我想之后将输出重定向到单个文件，parallel 应该适用于这样的事情吗？

不太重要的旁注：我对我的字符串比较方法感到相当自豪，但如果有人有更快的方法来比较 ABCDEFG 和 XYZ,ABMDEFG 以获得 XYZ,C3M 我很高兴听到，也是。

编辑：

我应该说，我还想保留输出中每一行的顺序，对应输入。是否可以使用并行？

Answer 1

您的脚本接受来自文件的输入（默认为标准输入），而parallel 将输入作为参数传递，而不是通过标准输入。从这个意义上说，parallel 更接近于xargs。

您可能希望large_file 中的每一行都作为一个单元进行处理，可能是并行处理。

这意味着您需要您的脚本一次只处理一个这样的行，并让parallel 多次调用您的脚本，每行一次。

所以你的脚本应该是这样的：

#!/usr/bin/env bash

reference="ABCDEFG"
ref_transp=$(echo "$reference" | sed -e 's/\(.\)/\1\n/g')
line="$1"
line_transp=$(echo "$line" | cut -d',' -f2 | sed -e 's/\(.\)/\1\n/g')
output=$(paste -d ' ' <(echo "$ref_transp") <(echo "$line_transp") | grep -vnP '([A-Z]) \1' | sed -E 's/([0-9][0-9]*):([A-Z]) ([A-Z]*)/\2\1\3/' | grep '^[A-Z][0-9][0-9]*[A-Z*]$')
echo "$(echo ${line:0:35}, $output)"

然后你可以重定向到一个文件如下：

cat large_file | parallel ./find_something.sh > output_file

Answer 2

-k 保持订单。

#!/usr/bin/env bash

doit() {    
    reference="ABCDEFG"
    ref_transp=$(echo "$reference" | sed -e 's/\(.\)/\1\n/g')
    while read line; do
      line_transp=$(echo "$line" | cut -d',' -f2 | sed -e 's/\(.\)/\1\n/g')
      output=$(paste -d ' ' <(echo "$ref_transp") <(echo "$line_transp") | grep -vnP '([A-Z]) \1' | sed -E 's/([0-9][0-9]*):([A-Z]) ([A-Z]*)/\2\1\3/' | grep '^[A-Z][0-9][0-9]*[A-Z*]$')
      echo "$(echo ${line:0:35}, $output)"
    done
}
export -f doit

cat large_file | parallel --pipe -k doit
#or
parallel --pipepart -a large_file --block -10 -k doit