使用 awk 过滤返回空文件

Question

我也有类似的问题：How to do filtering of multiple files in a directory using awk?

上述问题答案中的解决方案对我不起作用。

我有制表符分隔的 txt 文件（都在文件夹 Observation_by_pracid 中）。对于每个文件，我想创建一个新文件，该文件仅包含列 $9 (medcodeid) 中具有特定值的行。具体值可在 medicalcode_list.txt 中找到。 没有错误，但是它只返回空文件。

编码列表

medcodeid   
2576        
3199    

输入文件的格式

patid           consid      ... medcodeid   
500470520002    3062539302  ... 2576    
951924020002    3062538414  ... 310803013       
503478020002    3061587464  ... 257619018       
951924020002    3062537807  ... 55627011        
503576720002    3062537720  ... 3199    

期望的输出

patid           consid      ... medcodeid       
500470520002    3062539302  ... 2576    
503576720002    3062537720  ... 3199

我的代码

mkdir HBA1C_observation_bypracid
awk '
    NR==FNR {mlist[$1]; next }
    FNR==1 {close(out); out="HBA1C_observation_bypracid/HBA1C_" FILENAME }
    ($9 in mlist) { print > out } 
' PATH/medicalcode_list.txt *.txt

解决方案

mkdir HBA1C_observation_bypracid
awk '
    BEGIN{ FS=OFS="\t" }
    NR==FNR {mlist[$1]; next }
    FNR==1 {close(out); out="HBA1C_observation_bypracid/HBA1C_" FILENAME }
    ($9 in mlist) { print > out } 
' PATH/medicalcode_list.txt *.txt

添加“BEGIN...”解决了我的问题。

Answer 1

您可以使用join 将列中的两个文件连接起来。

• 文件必须按连接列排序。要对列执行数字 sort，请使用这种方式排序，其中 N 是列号：

    sort -kN -n FILE
  

• 您还需要了解每个文件的第一行（列名）。您可以按以下方式使用 tail 命令，其中 N 是您要输出内容的行号（即第 2 行）：

  tail -n +N
  

• ...但是还是需要显示列值：

  head -n 1 FILE
  

• 要连接两个文件 f1 和 f2，在 f1 的 c1 和 f2 的 c2 字段上，并输出文件 x 的字段 y：

  join -1 c1 -2 c2 f1 f2 -o "x.y, x.y"
  

工作样本：

head -n 1 input_file
for input_file in *.txt ; do
    join -1 1 -2 9 -o "2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9" \
         <(tail -n +2 PATH/medicalcode_list.txt | sort -k1 -n) \
         <(tail -n +2 "$input_file" | sort -k3 -n)
done

结果（对于您提供的输入文件）：

patid           consid      ... medcodeid   
500470520002 3062539302 ... 2576
503576720002 3062537720 ... 3199

---

注意：列名与值不一致。不知道是不是先决条件。您可以使用printf 命令格式化显示。

Answer 2

我个人认为在 shell 中循环会更简单（理解这将多次重读代码列表），使用更简单的 awk 函数，您应该能够测试和调试。比如：

for file in *.txt; do
    awk 'FNR == NR { mlist[$1] } FNR != NR && ($9 in mlist) { print }' \
       PATH/medicalcode_list.txt "$file" > HBA1C_observation_bypracid/HBA1C_"$file"
done

您应该能够在没有重定向的情况下启动，以确保对于单个文件，您可以将结果打印到预期的终端。如果您不这样做，则可能对文件有一些不正确的假设。

另一种选择是编写一个单独的 awk 脚本，该脚本编写代码以将列表硬编码到另一个 awk 脚本中。还可以检查变量mlist 的内容。

printf 'BEGIN {\n%s\n}\n $9 in mlist { print }' \
    "$(awk '{ print "mlist[" $1 "]" }' PATH/medicalcode_list.txt)" > filter.awk

for file in *.txt; do
   awk -f filter.awk "$file" > HBA1C_observation_bypracid/HBA1C_"$file"
done