带有输入的 Bash 函数失败 awk 命令

Question

我正在 BASH shell 脚本中编写一个函数，它应该从带有标题的 csv 文件返回行，逗号比标题多。这可能会发生，因为这些文件中有可能包含逗号的值。为了质量控制，我必须识别这些线以便以后清理它们。我目前拥有的：

#!/bin/bash

get_bad_lines () {
    local correct_no_of_commas=$(head -n 1 $1/$1_0_0_0.csv | tr -cd , | wc -c)
    local no_of_files=$(ls $1 | wc -l)
    for i in $(seq 0 $(( ${no_of_files}-1 )))
    do
        # Check that the file exist
        if [ ! -f "$1/$1_0_${i}_0.csv" ]; then
            echo "File: $1_0_${i}_0.csv not found!"
            continue
        fi
        # Search for error-lines inside the file and print them out
        echo "$1_0_${i}_0.csv has over $correct_no_of_commas commas in the following lines:"
        grep -o -n '[,]' "$1/$1_0_${i}_0.csv" | cut -d : -f 1 | uniq -c | awk '$1 > $correct_no_of_commas {print}'
    done
}

get_bad_lines products
get_bad_lines users

这个程序的输出现在是所有文件中所有行号的所有逗号计数， 我怀疑这是由于输入$1（文件夹名，即产品和用户）与参考$1 的awk 的调用冲突（我希望获取第一列是逗号的计数）循环中当前文件中的那一行）。

这是问题吗？如果是这样，是否可以通过使用不同的变量名而不是使用$1 引用第一列或文件夹名称来解决？

示例，当前输出：

      5 6667
      5 6668
      5 6669
      5 6670

（应该只显示包含超过 5 个逗号的文件的行）。

在 awk 调用中也尝试了变量声明，效果相同 （如Awk field variable clash with function argument 接受的答案） ：

get_bad_lines () {
    local table_name=$1
    local correct_no_of_commas=$(head -n 1 $table_name/${table_name}_0_0_0.csv | tr -cd , | wc -c)
    local no_of_files=$(ls $table_name | wc -l)
    for i in $(seq 0 $(( ${no_of_files}-1 )))
    do
        # Check that the file exist
        if [ ! -f "$table_name/${table_name}_0_${i}_0.csv" ]; then
            echo "File: ${table_name}_0_${i}_0.csv not found!"
            continue
        fi
        # Search for error-lines inside the file and print them out
        echo "${table_name}_0_${i}_0.csv has over $correct_no_of_commas commas in the following lines:"
        grep -o -n '[,]' "$table_name/${table_name}_0_${i}_0.csv" | cut -d : -f 1 | uniq -c | awk -v table_name="$table_name" '$1 > $correct_no_of_commas {print}'
    done
}

Answer 1

您可以完全使用awk 来实现：

get_bad_lines () {
  find "$1" -maxdepth 1  -name "$1_0_*_0.csv" | while read -r my_file ; do
    awk -v table_name="$1" '
        NR==1 { num_comma=gsub(/,/, ""); }  
        /,/ { if (gsub(/,/, ",", $0) > num_comma) wrong_array[wrong++]=NR":"$0;}
        END { if (wrong > 0) {
                print(FILENAME" has over "num_comma" commas in the following lines:");
                for (i=0;i<wrong;i++) { print(wrong_array[i]); }
              } 
            }' "${my_file}"
  done
}

为什么你原来的 awk 命令不能只给出带有太多逗号的行，那是因为你在单引号 awk 语句 ('$1 > $correct_no_of_commas {print}') 中使用了一个 shell 变量 correct_no_of_commas。因此，shell 没有替换，awk 按原样读取 "$correct_no_of_commas"，并将其视为未定义的变量。更准确地说，awk 查找在 awk 脚​​本中未定义的变量 correct_no_of_commas，因此它是一个空字符串。 awk 将执行 $1 > $"" 作为匹配条件，并且由于 $"" 是 $0 等价物，awk 会将 $1 中的计数与完整输入进行比较线。从数字的角度来看，完整的输入行具有<tab><count><tab><num_line>, 的形式，因此awk 为0。因此，$1 > $correct_no_of_commas 将始终为真。

Answer 2

您可以使用单个 awk 命令识别所有坏行

awk -F, 'FNR==1{print FILENAME; headerCount=NF;} NF>headerCount{print} ENDFILE{print "#######\n"}' /path/here/*.csv

如果您还想打印行号，请使用此

awk -F, 'FNR==1{print FILENAME"\nLine#\tLine"; headerCount=NF;} NF>headerCount{print FNR"\t"$0} ENDFILE{print "#######\n"}' /path/here/*.csv