在列上使用 awk 拆分 csv 文件

Question

我有一个大的 csv 文件，我想将它拆分成更小的 csv 文件，我有一个可行的解决方案：

awk -F\t '{print > $2}'  big.csv

但我的问题是我希望文件末尾有 .csv，而不仅仅是现在的列。有任何想法吗？

大.csv

"a name" "type" "some more info" "and a bit more"
"a other name" "differnt-type" "more" "and a bit more"
"last name" "type" "something" "and last more"

我想要的结果：

type.csv

"a name" "type" "some more info" "and a bit more"
"last name" "type" "something" "and last more"

不同类型的.csv

"a other name" "differnt-type" "more" "and a bit more"

现在文件将是类型和不同类型的文件，没有 .csv。

我也看过这样的解决方案：

tail -n +1 big.csv | while IFS=$'\t' read d1 d2 c
do
 echo $d1'\t'$d2'\t'$c >> ${d2}.csv
done

这很有效，但速度很慢。

Answer 1

像这样：

awk -F'\t' '{fname=$2".csv"; print > fname; close(fname)}' big.csv

awk 将保持输出文件打开，直到您调用 close() 或 awk 退出。显式调用close(fname) 确保即使$2 有许多不同的值（这会导致许多打开的文件），您也不会用完文件描述符

注意：您需要将\t 括在引号中，例如：-F'\t'。