如何用bash替换基于另一个文件中的两列的文件中多列的值？

Question

我正在尝试使用 awk 替换文件中多个列的值。使用 awk 的原因是文件非常大，无法将其加载到内存中。我试过用熊猫（python）做。

我有一个大型数据库作为文本文件。我在这里放了一个文件中的信息示例（制表符分隔）：

CHROM   POS    REF     ALT     GT_00  d_GT_00 c_GT_00  de_GT_00  can_GT_00  epi_GT_00
chr1    10      T       A       7       1       1        2           5       7
chr1    10      T       A       7       1       1        3           0       1
chr1    10      T       G       7       2       1        1           8       2
chr1    11      None    None    2       0       0        0           5       4
chr1    11      G       T       2       1       0        0           2       3

如果行中的前两列 (CHROM,POS) 相同，我必须对标题中包含“_00”的列的值求和。

所以，预期的输出是：

 CHROM   POS    REF     ALT     GT_00   d_GT_00  c_GT_00  de_GT_00  can_GT_00 epi_GT_00
 chr1    10      T       A       21       4       3           6       13       10      
 chr1    10      T       A       21       4       3           6       13       10
 chr1    10      T       G       21       4       3           6       13       10
 chr1    11      None    None     4       1       0           0       7         7
 chr1    11      G       T        4       1       0           0       7         7

我不知道该怎么做，因为我是编程新手，所以，我必须用这个awk代码做以下事情。

 awk -F'\t' 'FNR==1{next};
   {keys[$1"\t"$2]
     for (i=5;i<=10;i++)
   {sum[$1"\t"$2, i] += $i}
   }END {for (key in keys) { printf "%s", key
   for (i=5;i<=10;i++) {printf "%s%s", "\t", sum[key,i]}  printf "\n"}} OFS='\t' out.txt

使用此代码，并将第一个文本文件用作“out.txt”，我得到：

 chr1    10      21      4       3       6       13      10
 chr1    11      4       1       0       0       7       7

现在，我正在尝试替换带有chr1 10 的行中的第一行中的6 个值，以及带有chr1 11 的行中的第二行中的6 个值。

我已经完成了使用此代码更改一列中的值：

 awk -F"\t" 'NR==FNR{h[$1"\t"$2]=$3;next}
 {
   printf $1"\t"$2"\t"$3"\t"$4"\t"h[$1"\t"$2]"\t";
   for (i=6;i<=NF;i++)
   {printf "%s",$i "\t"};
    printf "\n"
  }' OFS="\t" file1 file2

但需要对所有列执行相同操作。

我怎样才能使用类似的代码来做到这一点？

注意：我有更多列的标题名称中没有“_00”

Answer 1

在这里，您可以使用内存高效的 p​​erl 联机，它应该可以解决您的问题。您可能需要添加正确的输入字段分隔符，例如-F'\t' 和一个用于跳过注释行的正则表达式。

perl -lane 'if(!$prev || $prev eq "$F[0]:$F[1]"){push @r,[@F[4..$#F]]; push @snp,join"\t",@F[0..3]}else{for $r (@r){$o[$_]+=$$r[$_] for 0..scalar(@$r)-1}; print join"\t",($_,@o) for @snp; @snp=(join"\t",@F[0..3]); @o=(); @r=([@F[4..$#F]])} $prev="$F[0]:$F[1]"; END{for $r (@r){$o[$_]+=$$r[$_] for 0..scalar(@$r)-1}; print join"\t",($_,@o) for @snp;}' < \ 
<(echo -e "chr1 10 A T 1 2 3\nchr1 10 A G 1 2 3\nchr1 11 A T 4 5 6\nchr2 12 G C 7 8 9")

为您提供带有 cmets 的格式化版本 :)

if(!$prev || $prev eq "$F[0]:$F[1]"){ # CHROM:POS compare to previous line
    push @r,[@F[4..$#F]]; # store values in array of array reference
    push @snp,join"\t",@F[0..3] # store CHROM,POS,REF,ALT
}else{
    for $r (@r){ # CHROM:POS is new
        $o[$_]+=$$r[$_] for 0..scalar(@$r)-1 # sum up values in array references
    };
    print join"\t",($_,@o) for @snp; # join CHROM,POS,REF,ALT with summed values
    @snp=(join"\t",@F[0..3]); # re-initialize
    @o=();
    @r=([@F[4..$#F]])
} 
$prev="$F[0]:$F[1]"; # store CHROM:POS info
END{ # print final lines
    for $r (@r){
        $o[$_]+=$$r[$_] for 0..scalar(@$r)-1
    };
    print join"\t",($_,@o) for @snp;
}