使用 AWK 处理包含数组的行的 CSV 文件

Question

尝试使用 AWK 处理 CSV 文件，但是我遇到了一个问题，我行中的许多单元格已经包含逗号 ,，这意味着我无法使用 awk -F, 分隔字段。

CSV文件

Name,...DATE,COLUMNX,ADDRESSES
host1,...,NOV 24, 2022,['Element1', 'Element2'],"['192.168.x.99', 'fe80:XX','192.168.x.100', fe80:XX]"
host2,...,NOV 24, 2022,['Element3'],"['192.168.x.101', 'fe80:XX']"

... 表示包含[、,、'、" 的行/列

我试过的：
awk -F, '{print $X}'
这给了我以下输出：

'Element2']
"['192.168.x.101'

我想要完成的事情：

host1 192.168.x.99
host1 192.168.x.100
host2 192.168.x.101

Answer 1

我会推荐一个合适的 CSV 解析器来完成这项工作，然后使用 awk 来做正则表达式，例如

$ ruby -r 'csv' -ne 'lines=$_
  CSV.parse(lines) do |i| 
    i.each do |j| 
      printf("%s ", j)
    end
    puts ""
  end' file | 
awk '{gsub(/['|']|'|]|,/, "", $0)}
  /^host/{for(i=1;i<=NF;i++){if($i~/^[0-9]+.+/){print $1, $i}}}'
host1 192.168.x.99
host1 192.168.x.100
host2 192.168.x.101

Answer 2

使用awk：

awk -F","|"$" 'NR>1 { 
gsub(/'|[[]]/,""); 
split($2,a,", "); 
split($1,h,","); 
for (n in a) {if (a[n] ~ /^[0-9]/) printf "%s %s
", h[1], a[n]}}' src.csv

输出：

host1 192.168.x.100
host1 192.168.x.99
host2 192.168.x.101

细节：

-F","|"$"（在记录末尾拆分，"或"（将删除尾随双引号，每条记录将拆分为两个字段。

gsub(/'|[[]]/,"");（通过删除单引号和/或括号进行清理）

split($2,a,", ");（在逗号空间将第二个字段拆分为数组a）

split($1,h,",");（在逗号上将第一个字段拆分为数组h。

for (n in a) {if (a[n] ~ /^[0-9]/) printf "%s %s ", h[1], a[n] 遍历数组 a 并且仅当数组项以数字开头时才打印输出

Answer 3

现代版本的 awk 允许在多个字段分隔符处拆分记录。因此，每一行都可以用逗号和单引号分隔，以隔离您需要的数据。

要将 ' 与 , 一起用作字段分隔符，需要对前者进行转义，然后将两者结合起来可能会非常棘手。经过几次试验后，我发现最简单的方法是使用带有正则表达式的 shell F 开关，包括转义的 ' 和 ,。这很麻烦，因为您必须在转义所需的单引号并重新打开单引号命令之前关闭第一个单引号：-F'[,'''=]'（我通常更喜欢在 awk 过程中设置字段分隔符，但这个让我失望了）。

此编辑版本用于隔离该字段（更改 $35 以适应试错）：

awk -F'[,''']' 'NR>1{print $1" "$35}' data.csv

我在以下测试文件上测试了以上内容：

data.csv:
Name,...DATE,COLUMNX,ADDRESSES
host1,['El3', 'El6'],['El7', 'El12'],['El1', 'El2'],['El', 'E12'],NOV 24, 2022,['Element1', 'Element2'],"['192.168.x.99', 'fe80:XX','192.168.x.100', fe80:XX]"
host2,['El3', 'El6'],['El7', 'El12'],['El1', 'El2'],['El', 'E12'],NOV 24, 2022,['Element1', 'Element2'],"['192.168.xxx.yy', 'fe80:XX','192.168.x.100', fe80:XX]"
host3,['El3', 'El6'],['El7', 'El12'],['El1', 'El2'],['El', 'E12'],NOV 24, 2022,['Element1', 'Element2'],"['192.xxx.x.99', 'fe80:XX','192.168.x.100', fe80:XX]"
host4,['El3', 'El6'],['El7', 'El12'],['El1', 'El2'],['El', 'E12'],NOV 24, 2022,['Element1', 'Element2'],"['xxx.168.x.99', 'fe80:XX','192.168.x.100', fe80:XX]"

输出：

host1 192.168.x.99
host2 192.168.xxx.yy
host3 192.xxx.x.99
host4 xxx.168.x.99