使用 awk 合并 2 个 csv 文件

Question

我有 3 个 CSV 文件：

基础文件（用 0 初始化的值）

steve tignor ash michael jose sam joshua
0       0     0     0     0     0    0

文件 1：

tignor michael  jose
888      9       -2

文件 2：

ash joshua
77   66

我需要的输出：

      steve tignor ash michael jose sam joshua
File1   0    888    0    9      -2   0     0
File2   0     0     77   0       0   0     66

我尝试先用 awk 对文件进行排序，然后用 paste 合并，但由于我有 1000 多列和 30 个文件，所以它不起作用。

代码：

awk -F"," 'NR==1{
  split($0,a,FS);asort(a);
  for(i=1;i<=NF;i++)b[$i]=i
} {
  for(i=1;i<=NF;i++)printf("%s,",$(b[a[i]]));
  print x
}' File1 > 1.csv

awk -F"," 'NR==1{
  split($0,a,FS);asort(a);
  for(i=1;i<=NF;i++)b[$i]=i
} {
  for(i=1;i<=NF;i++)printf("%s,",$(b[a[i]]));
  print x
}' File2 > 2.csv

paste -d"\n" 1.csv 2.csv > merge.csv

在这里需要一些帮助。提前致谢。

Answer 1

我假设您省略了文件中的逗号。如果您使用的是空格分隔的文件，您可以更改 split 函数中使用的分隔符。

awk '
ARGIND==1 && FNR==1{
  split($0, base, ",")
  printf("file,%s\n",$0)
}
ARGIND > 1 && FNR==1{
  split($0, names, ",")
  printf("%s", ARGV[ARGIND])
}
ARGIND > 1 && FNR==2{
  split($0, values, ",")
  for(i in names)
    line[names[i]] = values[i]
  for(i in base){
    if(base[i] in line)
      printf(",%s", line[base[i]])
    else
      printf(",0")
  }
  delete line
  print ""
}
' base.csv file1.csv file2.csv

例子：

file1.csv：

tignor,michael,jose
888,9,-2

file2.csv：

ash,joshua
77,66

和base.csv：

steve,tignor,ash,michael,jose,sam,joshua
0,0,0,0,0,0,0

输出是：

file,steve,tignor,ash,michael,jose,sam,joshua
file1.csv,0,888,0,9,-2,0,0
file2.csv,0,0,77,0,0,0,66

基本上，脚本分两步运行：

• 首先，我们从 base.csv 中读取名称并将它们存储到 大批。
• 然后，对于每个文件，我们存储出现在其标题中的名称和 尝试为基本 csv 中的每一列打印一个值。如果我们不 具有对应于特定文件中的列的值，我们刚刚 改为打印 0。

附注我制作了一个新的 POSIX awk 兼容版本的脚本：

awk --posix '
NR==FNR && FNR==1{
  split($0, base, ",")
  printf("file,%s\n",$0)
}
NR>FNR && FNR==1{
  split($0, names, ",")
  printf("%s", FILENAME)
}
NR>FNR && FNR==2{
  split($0, values, ",")
  for(i in names)
    line[names[i]] = values[i]
  for(i in base){
    if(base[i] in line)
      printf(",%s", line[base[i]])
    else
      printf(",0")
  }
  delete line
  print ""
}
' base.csv file1.csv file2.csv