拆分 CSV 并保留没有中间文件的标题

Question

我正在尝试将十几个 100MB 以上的 csv 文件拆分为可管理的较小文件以用于 curl 帖子。

我已经设法做到了，但是有很多临时文件和 IO。这需要永恒。

我希望有人能告诉我一种更有效地做到这一点的方法；最好几乎没有磁盘 io #!/bin/sh

for csv in $(ls *.csv); do
    tail -n +2 $csv | split -a 5 -l - $RANDOM.split.
done

# chose a file randomly to fetch the header from   

header=$(ls *.csv |sort -R |tail -1 | cut -d',' -f1)

mkdir split

for x in $(/usr/bin/find . -maxdepth 1 -type f -name '*.split.*'); do
    echo Processing $x
    cat header $x >> split/$x
    rm -f $x
done

上述脚本可能无法完全运行。我基本上是通过这些命令的组合来完成它的。

我决定在上传失败的情况下完全使 curl POST 另一个步骤；如果全部发布，我不想丢失数据。但是，如果 curl 出错，可以将数据放入重做文件夹中，那么它可以工作。

#!/bin/sh

# working on a progress indicator as a percentage. Never finished.
count=$(ls -1 | wc -l 2> /dev/null | cut -d' ' -f1)

for file in $(/usr/bin/find . -maxdepth 1 -type f); do
    echo Processing $file
    curl -XPOST --data-binary @$file -H "Content-Type: text/cms+csv" $1
done

编辑 1 -- 为什么是 RANDOM？因为 split 在拆分下一个文件时会产生与第一个文件完全相同的文件。所以 .. aa ab ac ... 将为每个文件生成。我需要确保 split 生成的每个文件在整个运行过程中都是唯一的

Answer 1

不太确定您想要完成什么，但在我看来您正在逐行处理。因此，如果您序列化所有 csv 文件和行，则无需磁盘 I/O 即可完成。但是根据您的描述，我无法判断此脚本是运行多个实例还是仅运行一个实例（多个进程或一个进程）。因此，我可以尽力模仿您的脚本以达到尽可能相似的结果，但要解决磁盘 I/O 问题。下面提供了代码，但如果有脚本错误，请更正，因为我无法运行/调试/验证它：

for csv in $(ls *.csv | sort -R); do
    # first read line skip the first line, since I see your tail -n +2 command.
    (read line;
     count=0;
     while read line; do
         Processing $line;
         count=$(($count + 1));
         echo $csv.$count >> split/$count;
     done
    ) < $csv
done

您的“处理”代码现在应该从详细行而不是文件进行处理。也许一个管道并让你的Processing 在 STDIN 上处理就可以了：

echo $line | Processing

您的 curl 可以执行类似的方式，从 STDIN 进行处理，通过将 @$file 替换为 -，您可以打印您希望 curl 发送的内容，然后将其通过管道传递给 curl，类似于以下内容：

ProcessingAndPrint | curl -XPOST --data-binary - -H "Content-Type: text/cms+csv" $1