GNU Parallel：如何从零开始作业号替换字符串

Question

我对使用 GNU 并行将多 GB CSV 数据库导出文件拆分为可管理的块的速度感到非常满意。但是，我遇到的问题是我希望输出文件名的格式为 some_table.csv.part_0000.csv 和 从零开始（导入工具需要这样做）。获得“0001”是一个挑战，但我设法使用 printf 来实现这一点。我无法让减量起作用。

我的命令：

FILE=some_table; parallel -v --joblog split.log --pipepart --recend '-- EOL\n' --block 25M "cat > $FILE.csv.part_$(printf "%04d"{#}).csv" :::: $FILE.csv

执行表达式扩展 ($FILE.csv.part_$(({#}-1)).csv) 之类的操作不起作用，因为 {#} 会混淆内部子外壳。 PART=$(({#}-1)); cat > $FILE.csv.part_$PART.csv也是如此。

有什么建议吗？

Answer 1

使用 {= =} 结构：

FILE=some_table;  parallel -v --joblog split.log --pipepart --recend '-- EOL\n' --block 25M "cat > $FILE.csv.part_"'{=$_=sprintf("%04d",$job->seq()-1)=}'".csv" :::: $FILE.csv

如果您要经常使用它，那么通过将其放入 ~/.parallel/config 中来定义您自己的替换字符串：

--rpl '{0000#} $_=sprintf("%04d",$job->seq()-1)'

然后使用 {0000#}：

seq 11 | parallel echo {0000#}

如果您只想将数字固定宽度（不一定是 4 位数字）：

--rpl '{0#} $f="%0".int(1+log(total_jobs()-1)/log(10))."d";$_=sprintf($f,$job->seq()-1)'

然后使用 {0#}：

seq 11 | parallel echo {0#}

换个说法：为什么要把它保存到文件中？为什么不直接将其传递给数据库导入器并使用--retries/--retry-failed 重试失败的块？

如果你想要它用于工作槽：

parallel --rpl '{0000%} $_=sprintf("%04d",$job->slot())' echo {0000%} ::: {1..100}

你也可以使用动态替换字符串：

--rpl '{(0+?)%} $l=length $$1; $_=sprintf("%0${l}d",$job->slot())'
--rpl '{(0+?)#} $l=length $$1; $_=sprintf("%0${l}d",$job->seq())'

parallel echo {0%} ::: {1..100}
parallel echo {0#} ::: {1..100}
parallel echo {00%} ::: {1..100}
parallel echo {00#} ::: {1..100}
parallel echo {000%} ::: {1..100}
parallel echo {000#} ::: {1..100}

从 20210222 版本开始，您可以：

parallel --plus echo {0%} ::: {1..100}
parallel --plus echo {0#} ::: {1..100}

它将自动检测所需的前导零。