遍历目录中的文件并使用 awk 根据列值选择大文件的行

Answer 1

假设：

• 输入文件名的格式为“*.txt”。
• 列由制表符分隔。
• 五个值中的每一个都与目标列（COL_ABC 或 COL_DEF）一一进行比较 结果文件是根据值创建的。然后将创建 15 x 5 = 75 个文件。 （如果这不是你想要的，请告诉我。）

那你试试：

awk -F"\t" '
    BEGIN {
        values["a123"]                                  # assign values
        values["b234"]
        values["c345"]
        values["d456"]
        values["e567"]
    }
    FNR==1 {                                            # header line
        for (i in values) {                             # loop over values
            if (outfile[i] != "") close(outfile[i])     # close previous file
            outfile[i] = "result_" i "_" FILENAME       # filename to create
            print > outfile[i]                          # print the header
        }
        abc = def = 0                                   # reset the indexes
        for (i = 1; i <= NF; i++) {                     # loop over the column names
            if ($i == "COL_ABC") abc = i                # "COL_ABC" is found: assign abc to the index
            else if ($i == "COL_DEF") def = i           # "COL_DEF" is found: assign def to the index
        }
        next
    }
    {
        for (i in values) {
            if (abc > 0 && $abc == i || def > 0 && $def == i)
                print > outfile[i]                      # abc_th column or def_th column matches i
        }
    }
' *.txt

如果您的 15 个文本文件位于目录中，例如/path/to/the/dir/ 并且您想将目录指定为参数，请将最后一行中的 *.txt 更改为 /path/to/the/dir/*.txt。

Answer 2

for f in file*.txt; do
    awk -F'\t' '
        BEGIN {
            n1="COL_DEF"
            n2="COL_ABC"

            val["a123"] 
            val["b234"] 
            val["c345"] 
            val["d456"] 
            val["e567"] 
        }
        NR==1 {
            for(i=1; i<=NR; i++)
                col[$i]=i
            c=col[n1]
            if(!c) c=col[n2]
            next
        }
        $c in val { print }
    ' "$f" > "$f.new"
done

• 我们真的不需要设置n1、n2（我们可以直接使用字符串值）但是它将所有定义保存在一个地方
• awk 没有很好的方法来一次声明整个数组的所有元素，因此我们单独设置 val 元素（或者，对于简单值 we could use split）
• 在文件的第一行（NR==1），我们存储标题名称，然后立即查找我们关心的并将索引存储在c中：我们选择col[n2]或@中的第一个987654330@ 被定义（非零）为要搜索的列索引
• next 跳过此行的剩余 awk 操作
• 然后对于剩余的每一行，我们检查相关列中的值是否是val 中的值之一，如果是，则打印该行。

awk 脚本包含在 bash for 循环中，我们根据循环变量将输出写入新文件。 （这都可以在 awk 本身中完成，但这种方式很容易。）