使用 awk 将大型、复杂的一列文件拆分为多列

Question

我有一个由一些商业软件生成的文本文件，如下所示。它包含在括号分隔的部分中，每个部分都包含数百万个元素，但确切的值会因情况而异。

(1
 2
 3
...
)
(11
22
33
...
)
(111
222
333
...
)

我需要实现如下输出：

 1;  11;   111
 2;  22;   222
 3;  33;   333
...  ...  ...

我发现了一个复杂的方法是：

• 执行sed操作得到

  1
  2
  3
  ...
  #
  11
  22
  33
  ...
  #
  111
  222
  333
  ...
  

• 如下使用awk将我的文件拆分成几个子文件

  awk -v RS="#" '{print > ("splitted-" NR ".txt")}'
  

• 使用 sed 再次从我的子文件中删除空格

  sed -i '/^[[:space:]]*$/d' splitted*.txt
  

• 将所有内容结合在一起：

  paste splitted*.txt > out.txt
  

• 添加字段分隔符（在我的 bash 脚本中定义）

  awk -v sep=$my_sep 'BEGIN{OFS=sep}{$1=$1; print }' out.txt > formatted.txt
  

当我多次循环数百万行时，我觉得这很糟糕。 即使返回时间相当好（~80 秒），我也想找到一个完整的 awk 解决方案，但无法解决。 比如：

awk 'BEGIN{RS="(\\n)"; OFS=";"} { print something } '

我发现了一些相关的问题，尤其是这个row to column conversion with awk，但它假定括号之间的行数是恒定的，我不能这样做。

任何帮助将不胜感激。

Answer 1

使用 GNU awk 处理多字符 RS 和真正的多维数组：

$ cat tst.awk
BEGIN {
    RS  = "(\\s*[()]\\s*)+"
    OFS = ";"
}
NR>1 {
    cell[NR][1]
    split($0,cell[NR])
}
END {
    for (rowNr=1; rowNr<=NF; rowNr++) {
        for (colNr=2; colNr<=NR; colNr++) {
            printf "%6s%s", cell[colNr][rowNr], (colNr<NR ? OFS : ORS)
        }
    }
}

$ awk -f tst.awk file
     1;    11;   111
     2;    22;   222
     3;    33;   333
   ...;   ...;   ...

Answer 2

如果你知道你有 3 列，你可以用一种非常丑陋的方式来做，如下所示：

pr -3ts <file>

接下来需要做的就是删除括号：

$ pr -3ts ~/tmp/f | awk 'BEGIN{OFS="; "}{gsub(/[()]/,"")}(NF){$1=$1; print}'
1; 11; 111
2; 22; 222
3; 33; 333
...; ...; ...

您也可以在单个 awk 行中执行此操作，但这只会使事情复杂化。以上操作简单快捷。

这个 awk 程序执行完整的通用版本：

awk 'BEGIN{r=c=0}
     /)/{r=0; c++; next}
     {gsub(/[( ]/,"")}
     (NF){a[r++,c]=$1; rm=rm>r?rm:r}
     END{ for(i=0;i<rm;++i) {
            printf a[i,0];
            for(j=1;j<c;++j) printf "; " a[i,j];
            print ""
          }
     }' <file>

Answer 3

考虑到您的实际 Input_file 与显示的示例相同，请您尝试一次。

awk -v RS=""  '
{
  gsub(/\n|, /,",")
}
1' Input_file |
awk '
{
  while(match($0,/\([^\)]*/)){
     value=substr($0,RSTART+1,RLENGTH-2)
     $0=substr($0,RSTART+RLENGTH)
     num=split(value,array,",")
     for(i=1;i<=num;i++){
       val[i]=val[i]?val[i] OFS array[i]:array[i]
     }
  }
  for(j=1;j<=num;j++){
     print val[j]
  }
  delete val
  delete array
  value=""
}'   OFS="; "

或（以上脚本考虑 (...) 内的数字将保持不变，现在添加脚本，该脚本将处理 (....) 内不相等的偶数字段数。

awk -v RS=""  '
{
  gsub(/\n/,",")
  gsub(/, /,",")
}
1'  Input_file |
awk '
{
  while(match($0,/\([^\)]*/)){
     value=substr($0,RSTART+1,RLENGTH-2)
     $0=substr($0,RSTART+RLENGTH)
     num=split(value,array,",")
     for(i=1;i<=num;i++){
       val[i]=val[i]?val[i] OFS array[i]:array[i]
     max=num>max?num:max
     }
  }
  for(j=1;j<=max;j++){
     print val[j]
  }
  delete val
  delete array
}' OFS="; "

输出如下。

1; 11; 111
2; 22; 222
3; 33; 333

---

---

说明：在此处添加对上述代码的说明。

awk -v RS=""  '                                      ##Setting RS(record separator) as NULL here.
{                                                    ##Starting BLOCK here.
  gsub(/\n/,",")                                  ##using gsub to substitute new line OR comma with space with comma here.
  gsub(/, /,",")
}
1' Input_file  |                                        ##Mentioning 1 will be printing edited/non-edited line of Input_file. Using | means sending this output as Input to next awk program.
awk '                                                ##Starting another awk program here.
{
  while(match($0,/\([^\)]*/)){                       ##Using while loop which will run till a match is FOUND for (...) in lines.
     value=substr($0,RSTART+1,RLENGTH-2)             ##storing substring from RSTART+1 to till RLENGTH-1 value to variable value here.
     $0=substr($0,RSTART+RLENGTH)                    ##Re-creating current line with substring valeu from RSTART+RLENGTH till last of line.
     num=split(value,array,",")                      ##Splitting value variable into array named array whose delimiter is comma here.
     for(i=1;i<=num;i++){                            ##Using for loop which runs from i=1 to till value of num(length of array).
       val[i]=val[i]?val[i] OFS array[i]:array[i]    ##Creating array val whose index is value of variable i and concatinating its own values.
     }
  }
  for(j=1;j<=num;j++){                               ##Starting a for loop from j=1 to till value of num here.
     print val[j]                                    ##Printing value of val whose index is j here.
  }
  delete val                                         ##Deleting val here.
  delete array                                       ##Deleting array here.
  value=""                                           ##Nullifying variable value here.
}'  OFS="; "                                         ##Making OFS value as ; with space here.

注意：这也应该适用于 (...) 括号内的 3 个以上的值。

Answer 4

awk 'BEGIN { RS = "\\s*[()]\\s*"; FS = "\\s*" }
NF > 0 {
  maxCol++
  if (NF > maxRow)
    maxRow = NF
  for (row = 1; row <= NF; row++)
    a[row,maxCol] = $row
}
END {
  for (row = 1; row <= maxRow; row++) {
    for (col = 1; col <= maxCol; col++)
      printf "%s", a[row,col] ";"
    print ""
  }
}' yourFile

输出

1;11;111;
2;22;222;
3;33;333;
...;...;...;

如果您还想在字段中允许空格，请将 FS= "\\s*" 更改为 FS = "\n*"。

此脚本支持不同长度的列。

在进行基准测试时，还可以考虑将[i,j] 替换为[i][j] 用于GNU awk。我不确定哪个更快，并且我自己没有对脚本进行基准测试。

Answer 5

这里是 Perl 单行解决方案

$ cat edouard2.txt
(1
2
3
a
)
(11
22
33
b
)
(111
222
333
c
)

$ perl -lne ' $x=0 if s/[)(]// ; if(/(\S+)/) { @t=@{$val[$x]};push(@t,$1);$val[$x++]=[@t] } END { print join(";",@{$val[$_]}) for(0..$#val) }' edouard2.txt
1;11;111
2;22;222
3;33;333
a;b;c

Answer 6

我会将每个部分转换为一行，然后转置，例如假设您使用的是 GNU awk：

<infile awk '{ gsub("[( )]", ""); $1=$1 } 1' RS='\\)\n\\(' OFS=';' |
datamash -t';' transpose

输出：

1;11;111
2;22;222
3;33;333
...;...;...