使用 GNU 并行拆分

Question

我正在将一个非常巨大的文件加载到 postgresql 数据库中。为此，我首先在文件中使用split 来获取较小的文件（每个30Gb），然后使用GNU Parallel 和psql copy 将每个较小的文件加载到数据库中。

问题是拆分文件大约需要 7 个小时，然后它开始为每个内核加载一个文件。我需要一种方法来告诉split 每次完成写入文件时将文件名打印到std 输出，这样我就可以将它通过管道传输到Parallel 并在split 完成写入时开始加载文件.像这样的：

split -l 50000000 2011.psv carga/2011_ | parallel ./carga_postgres.sh {}

我已阅读 split 手册页，但找不到任何内容。有没有办法使用split 或任何其他工具来做到这一点？

Answer 1

您可以让并行进行拆分：

<2011.psv parallel --pipe -N 50000000 ./carga_postgres.sh

请注意，手册页建议使用--block 而不是-N，这仍会在记录分隔符处拆分输入，默认情况下\n，例如：

<2011.psv parallel --pipe --block 250M ./carga_postgres.sh

测试--pipe 和-N

这是一个将 100 个数字的序列拆分为 5 个文件的测试：

seq 100 | parallel --pipe -N23 'cat > /tmp/parallel_test_{#}'

检查结果：

wc -l /tmp/parallel_test_[1-5]

输出：

 23 /tmp/parallel_test_1
 23 /tmp/parallel_test_2
 23 /tmp/parallel_test_3
 23 /tmp/parallel_test_4
  8 /tmp/parallel_test_5
100 total

Answer 2

如果您使用GNU split，您可以使用--filter 选项来做到这一点

‘--filter=command’
使用此选项，不是简单地写入每个输出文件，而是通过管道写入每个输出文件的指定 shell 命令。命令应使用 $FILE 环境变量，该变量为每次调用命令设置为不同的输出文件名。

您可以创建一个shell脚本，该脚本创建一个文件并在后台启动carga_postgres.sh

#! /bin/sh

cat >$FILE
./carga_postgres.sh $FILE &

并使用该脚本作为过滤器

split -l 50000000 --filter=./filter.sh 2011.psv