如何将字段名设置为文件名bash/awk

Question

我有一个包含 500 列的文件，我需要将每一列拆分为一个新文件，同时在所有文件中打印 $1。下面是一个示例文件，我设法使用下面的 bash/awk 解决方案来做到这一点：

ID    F1    F2    F4    F4
aa    1    2    3    4 
bb    1    2    3    4
cc    1    2    3    4
dd    1    2    3    4

num=('1' '2' '3' '4')
for i in ${num[@]}; do awk -F "\t" -v col="$i" '{print $1,$col}' OFS="\t"        
Input.txt > ${i}.txt; done

它给出了所需的输出：

1.txt
ID    ID
aa    aa
bb    bb
cc    cc
dd    dd

2.txt
ID    F1
aa    1
bb    1
cc    1
dd    1

....

但是，我无法跟踪哪个文件对应于哪个列，因为输出文件名是字段编号而不是字段名称。是否可以将字段的标题作为输出文件名的前缀写入？

ID.txt
ID    ID
aa    aa
bb    bb
cc    cc
dd    dd

F1.txt
ID    F1
aa    1
bb    1
cc    1
dd    1

Answer 1

您可以在一个 awk 脚本中完成所有操作。处理第一行时，将所有列标题放入一个数组中。然后，当您处理行时，您会循环写入该数组中的文件名。

awk -F'\t' 'NR == 1 { split($0, filenames) }
     {for (col = 1; col <= NF; col++) { 
        file= filenames[col] ".txt"; 
        print $1, $col >> file; 
        close(file) } }' Input.txt

Answer 2

如果我正确理解您的要求，您似乎已经很接近了。试试

num=('1' '2' '3' '4')
for i in ${num[@]}; do
  echo "i=$i"
  awk -F "\t" -v col="$i" -v OFS="\t" '
    NR==1{fName=$(col+1)".out";next}
    {print $1,$(col+1) > fName}' data.txt
done   

1>cat F1.out
aa      1
bb      1
cc      1
dd      1

. . . .

1>cat F4.out
aa      4
bb      4
cc      4
dd      4

编辑

如果您需要保留示例输出中显示的标题，只需删除 ;next。

---

编辑 2

如果您有多个同名的列，您可以改用>> fName 将数据附加到同一个文件中。用这种技术警告一句话。当您使用> fName 时，这会在您每次重新运行脚本时“重新启动”文件。但是当使用>> 时，您将在每次运行脚本时附加到每个文件。这可能会导致下游进程出现问题 ;-) ...因此您需要添加代码来清理您之前运行的脚本。

---

在这里，我们依赖于 awk 也可以使用 > fName 将输出写入文件的事实（其中 fName 已定义为 col(Num)+1 的值（跳过第一列值）。

而且，如果您打算每天执行数千次，则值得进一步优化上述每个 cmets，让 awk 读取一次文件并从内部循环创建所有输出。但是，如果您只需要这样做几次，那么您的“使用 unix/linux 的工具将任务分解为可管理的部分”是非常合适的。

IHTH